大数据可视化ScrapydWeb、Hue、Nanocubes介绍

以下为你介绍的大数据可视化软件都可用在Linux系统上:ScrapydWeb(用于 Scrapyd 集群管理的 web 应用)、Hue(Hadoop 图形化用户界面)、Nanocubes(大数据可视化工具)。

1、ScrapydWeb(用于 Scrapyd 集群管理的 web 应用)

大数据可视化ScrapydWeb、Hue、Nanocubes介绍

ScrapydWeb 是一个用于 Scrapyd 集群管理的 web 应用,支持 Scrapy 日志分析和可视化。

特性:

1]、Scrapyd 集群管理

支持所有 Scrapyd JSON API、支持通过分组和过滤来选择若干个节点、一次操作,批量执行。

2]、Scrapy 日志分析

数据统计、进度可视化、日志分类。

3]、增强功能

自动打包项目、集成 LogParser、定时器任务、监控和警报、移动端 UI、web UI 支持基本身份认证。

框架依赖:

1]、前端

Element、ECharts

2]、后端

Flask

下载地址:https://github.com/my8100/scrapydweb

2、Hue(Hadoop 图形化用户界面)

大数据可视化ScrapydWeb、Hue、Nanocubes介绍

大数据可视化ScrapydWeb、Hue、Nanocubes介绍

Hue 是运营和开发Hadoop应用的图形化用户界面。Hue程序被整合到一个类似桌面的环境,以web程序的形式发布,对于单独的用户来说不需要额外的安装。

它具有以下特点:

编辑者可使用SQL查询任何数据库并提交作业。

仪表板可动态交互和可视化数据。

作业和工作流程的计划程序。

浏览数据存储和元数据的目录。

入门:

首先,添加开发包,构建并运行开发服务器:

git clone https://github.com/cloudera/hue.git

cd hue

make apps

build/env/bin/hue runserver

现在Hue应该在http://localhost:8000上运行,开发模式下的配置为desktop/conf/pseudo-distributed.ini。

Docker:

只需单击Docker Guide即可启动Hue:

docker run -it -p 8888:8888 gethue/hue:latest

Kubernetes:

helm repo add gethue https://helm.gethue.com

helm repo update

helm install gethue/hue

下载地址:https://gitee.com/mirrors/Hue

3、Nanocubes(大数据可视化工具)

大数据可视化ScrapydWeb、Hue、Nanocubes介绍

Nanocubes 是一个大数据可视化的工具,32Tb Twitter数据,在一台16GB内存的机器上流畅、交互式地可视化。

运行 Nanocubes 你需要一个支持 WebGL 的浏览器,目前在 Chrome 和 Firefox 上测试成功,但开发主要基于Chrome。

在Linux或Mac上编译:

# Ubuntu 18.04的依赖项

# sudo apt install build-essential curl unzip

#

# Mac OS X 10.13.4的依赖关系

# XCode

# 获取v4分支

curl -L -O https://github.com/laurolins/nanocube/archive/master.zip

unzip master.zip

cd nanocube-master

# 根据需要修改INSTALL_DIR以指向另一个安装文件夹

export INSTALL_DIR="$(pwd)/install"

./configure --with-polycover --prefix="$INSTALL_DIR"

make

make install

# 测试nanocubes是否有效

$INSTALL_DIR/bin/nanocube

# 将nanocube二进制文件添加到PATH环境变量中

export PATH="$INSTALL_DIR/bin":$PATH

下载地址:https://github.com/laurolins/nanocube

注明

以上就是大数据可视化ScrapydWeb、Hue、Nanocubes的介绍内容,这些大数据可视化软件都能使用在Linux操作系统中。

栏目相关文章