大数据相关软件Laxcus、Apache Edgent、HPAT、KSQL介绍

以下为你介绍的大数据相关软件都可用在Linux系统上:Laxcus(大数据管理系统)、Apache Edgent(面向物联网设备的运行时)、HPAT(基于编译器的大数据框架)、KSQL(用于 Apache Kafka 的流数据 SQL 引擎)。

1、Laxcus(大数据管理系统)

大数据相关软件Laxcus、Apache Edgent、HPAT、KSQL介绍

Laxcus 是一个多集群多用户多任务通用数据管理系统,支持百万级计算机节点,提供 EB 级可计算数据的存储和计算能力,综合云管理、大数据、数据库、中间件、容器五个领域的技术和功能,集运行、开发、调试、部署、维护为一体的平台。Laxcus 为全体系全功能设计开发,采用 Java、C++ 语言编写,运行在普通硬件设备上,操作系统涵盖 Linux/Windows(注:Laxcus客户端支持arm/x86/windows/linux/32位/64位),硬件平台包括 X86、ARM、POWER PC、NVIDIA。产品100%自主知识产权,遵循 LGPL 协议开放源代码。

Laxcus 大数据管理系统较为经典的 2.6 版本技术特点:

1].系统总体设计成松耦合架构,在此框架下实现所有业务可定制、可扩展。

2].网络通信采用二进制协议和乱序处理,提高数据传输和处理效率。

3].以多集群并行和弱中心管理为基础,实现超大规模、可伸缩的数据存储和计算。

4].引入自适应机制,使集群具备自组织能力,包括数据处理和软硬件故障管理。

5].底层数据采用混合存储方案,实现即时存取,支持 OLTP 和 OLAP 业务。

6].数据处理融入 SQL 思想,兼容数据库,满足高并发和高可靠性两种需求。

7].全新的分布算法,保证数据处理简捷高效。

8].组件化编程,结合容器管理,来减少开发和维护难度。

9].体系化安全策略,RSA+SHA 验证,将安全管理纳入系统每一个环节。

10].使用语句指令操纵集群,覆盖全部数据处理和管理工作。

11].支持全球已知字符集,满足不同国家和地区用户语言习惯。

下载地址:http://www.laxcus.com/

2、Apache Edgent(面向物联网设备的运行时)

Apache Edgent 是一种编程模型和具有微内核风格的运行时,可嵌入到网关和小型的物联网设备中。Apache Edgent 能用于对来自器材、车辆、系统、应用、设备和传感器(例如树莓派或智能手机)的连续数据流进行实时分析。

通过与集中式分析系统协同工作,Apache Edgent 可在整个物联网生态系统中提供高效、及时的分析:从中心到边缘。

Edgent 是面向边缘设备的开源编程模型和运行时,可以分析设备上的数据和事件。在边缘端进行分析有以下好处:

减少传输到分析服务器的数据量、减少存储的数据量。

以下用例描述了 Edgent 的主要使用情况:

物联网(IoT):分析分布式物联网设备和移动设备上的数据,以便:

降低传输数据的成本、在设备上提供本地反馈。

嵌入在应用程序服务器实例中:实时分析应用程序服务器错误日志,而不会影响网络通信量

服务器机房和机房:实时分析机器运行状况,而不会影响网络流量或带宽有限。

开放物联网生态系统架构图:

大数据相关软件Laxcus、Apache Edgent、HPAT、KSQL介绍

部署环境:

已经测试了以下环境在边缘设备上进行部署:

Java 8,Raspberry Pi B 和 Pi2 B、Java 7、Android。

请注意,Apache Edgent 会不断的进行开发。

下载地址:https://edgent.apache.org/

3、HPAT(基于编译器的大数据框架)

HPAT 是一个基于编译器的大数据框架,使用 Python 编写。

高性能分析工具包(HPAT)是一个基于编译器的框架,用于群集/云环境中的大数据分析和机器学习,既易于使用又非常快速;它比 Apache Spark 等替代品要快。

HPAT 自动或半自动并行化执行使用 Numpy 和 pandas 编写的分析任务,并使用 Numba 和 LLVM 生成高效的MPI 代码。

下载地址:https://gitee.com/mirrors/HPAT

4、KSQL(用于 Apache Kafka 的流数据 SQL 引擎)

大数据相关软件Laxcus、Apache Edgent、HPAT、KSQL介绍

KSQL 用于 Apache Kafka 的流数据 SQL 引擎。

注意:项目还处于开发者预览版,请暂时勿用于生产集群中。

KSQL 是 Apache Kafka 的开源流 SQL 引擎。 它为 Kafka 的流处理提供了一个简单而完整的 SQL 界面; 不需要再用编程语言(如 Java 或 Python )编写代码。 KSQL 是分布式、可扩展、可靠的和实时的,支持多种流式操作,包括聚合(aggregate)、连接(join)、时间窗口(window)、会话(session)等等。基于 Apache 2.0 协议开源。

KSQL 的两个核心概念是流(Stream)和表(Table),它将流和表集成在一起,允许将代表当前状态的表与代表当前发生事件的流连接在一起。

项目架构:

大数据相关软件Laxcus、Apache Edgent、HPAT、KSQL介绍

下载地址:https://github.com/confluentinc/ksql

注明

以上就是大数据相关软件Laxcus、Apache Edgent、HPAT、KSQL的介绍内容,这些大数据相关软件都能使用在Linux操作系统中。

栏目相关文章