大数据相关软件Suro、Themis、Mincemeat-node、HTools介绍

以下为你介绍的大数据相关软件都可用在Linux系统上:Suro(数据管道服务)、Themis(HBase 跨行/跨表的事务处理)、Mincemeat-node(极简MapReduce框架)、HTools(Hadoop集群监控工具)。

1、Suro(数据管道服务)

大数据相关软件Suro、Themis、Mincemeat-node、HTools介绍

Netflix 开源了一个叫做Suro的工具,它能够在数据被发送到不同的数据平台(如Hadoop、Elasticsearch)之前,收集不同应用服务器上的事件数据,这项创新技术具备成为大数据主流实践的潜力。

Suro 是数据管道服务,用来收集,聚合和调度大数据应用事件,包括日志记录数据。

特性:

分布式,支持横向扩展。

支持流媒体数据流,大量连接和高吞吐量。

根据领过的调度规则允许动态调度时间到不同的位置。

包括一个简单而灵活的架构,允许用户添加额外的数据目的地。

适用于 NetflixOSS 生态系统。

是最优的数据管道,支持灵活的重试和转发,把数据丢失减到最小。

运行服务器:

您可以仅通过运行./gradlew runServer在本地运行服务器。

您可能希望运行./gradlew installApp,然后使用以下更高级的用法:

cd suro-server

java -cp "build/install/suro-server/lib/*" com.netflix.suro.SuroServer -m conf/routingmap.json -s conf/sink.json -i conf/input.json

要启用基本日志记录,您可以下载slf4j-simple-1.7.7.jar并将其复制到suro-server中,然后运行:

cd suro-server

java -cp "build/install/suro-server/lib/*:slf4j-simple-1.7.7.jar" com.netflix.suro.SuroServer -m conf/routingmap.json -s conf/sink.json -i conf/input.json

下载地址:https://github.com/Netflix/suro

2、Themis(HBase 跨行/跨表的事务处理)

Themis 是小米公司开发的,为 HBase 提供了跨行/跨表的事务处理,基于 Google 的 percolator。

建立:

1]、获取Themis的最新源代码:

git clone https://github.com/XiaoMi/themis.git

2]、Themis的主分支依赖于hadoop.version = 2.0.0-alpha的hbase 0.94.21,我们可以通过以下方式下载hbase 0.94.21的源代码并将其安装在maven本地存储库中:

(在hbase 0.94.21目录中)

mvn clean install -DskipTests -Dhadoop.profile=2.0

3]、生成Themis并安装在本地存储库中:

cd themis

mvn clean install -DskipTests

下载地址:https://github.com/XiaoMi/themis

3、Mincemeat-node(极简MapReduce框架)

Mincemeat-node 是使用Node.js实现的极简MapReduce框架,可以快速的部署投入工作,免去Hadoop繁琐的配置,享受随心大数据。

Mincemeatpy实现的是一种非常简单的MapReduce模型,仅仅实现了任务的分布计算,并没有类似HDFS这样的支撑,因此只适合做计算量很大的工作,但是相对于Hadoop的好处在于部署非常的方便,单文件随处运行,在实际使用中非常的方便,这也是我想用Node.js去实现的原因之一。 Node.js的网络异步处理模型非常适合于这种突发通信量较大,性能要求比较高的场景,并且也是单文件随处运行的典型。相对的,Node.js也有一个很严重的缺点:无法很好的利用多核CPU。因此在代码的实现上,我还是使用了多进程的方式来达到最大化的利用计算资源,并且对Client的负载进行检测以便做负载均衡。

下载地址:https://github.com/denghongcai/mincemeat-node

4、HTools(Hadoop集群监控工具)

大数据相关软件Suro、Themis、Mincemeat-node、HTools介绍

HTools是一款专业的Hadoop管理工具,不管您是非专业IT人士,还是多年经验的技术人员,本工具都会为您提供优质的管理服务和轻松的操作过程,释放无谓的工作压力,提高Hadoop的管理水平。我们以最权威的专家为您量身定做的Hadoop管理工具,本系统提供优秀的用户体验,让您能够轻松的管理Hadoop集群环境。

友善的向导式操作流程。

图形报表、日志分析供您明了查看各节点使用情况。

智能诊断,修复故障并发出短信、邮件故障告警。

图形化UI、拖拖拽拽即可管理管理HDFS数据。

傻瓜式操作优化Hadoop,方便快捷。

免客户端部署,无需安装HTools客户端。

版本控制灵活,不绑定Hadoop的JDK版本。

一键智能搜索当前网段可部署节点。

支持多个Hadoop集群同时监管。

支持同时管理多个Hadoop集群和节点。

支持7、24小时多集群实时监控。

支持节点热插拔,服务不间断的情况下随时对节点进行扩展和调整。

支持系统配置文件的推送和同步。

下载地址:https://gitee.com/htools/HTools

注明

以上就是大数据相关软件Suro、Themis、Mincemeat-node、HTools的介绍内容,这些大数据相关软件都能使用在Linux操作系统中。

栏目相关文章