数据查询pgcmd、AresDB、OpenFEA、Pilosa、Elasticsearch介绍

以下为你介绍的数据查询软件都可用在Linux系统上:pgcmd(非交互式 PostgreSQL 查询工具)、AresDB(基于 GPU 运算的实时分析存储引擎和查询引擎)、OpenFEA(可视化大数据分析挖掘工具)、Pilosa(开源的分布式位图索引)、Elasticsearch(分布式搜索引擎)。

1、pgcmd(非交互式 PostgreSQL 查询工具)

pgcmd 是非交互式 PostgreSQL 查询工具。它输出 JSON,这意味着可以使用 jq 或 catj 等工具处理和查看结果。

安装:

npm install -g pgcmd

用法:

pgcmd -h localhost \

 -u postgres \

 -p p@ssw0rd \

 -d postgres \

 'select * from pg_database where datname = $1' \

 -m template0

如果未指定脚本,则 pgcmd 从标准输入读取:

echo 'select * from pg_database where datname = $1' | pgcmd -m template0

输出:

[

{

"datname": "template0",

"datdba": 10,

"encoding": 6,

"datcollate": "en_US.utf8",

"datctype": "en_US.utf8",

"datistemplate": true,

"datallowconn": false,

"datconnlimit": -1,

"datlastsysoid": 13066,

"datfrozenxid": "562",

"datminmxid": "1",

"dattablespace": 1663,

"datacl": "{=c/postgres,postgres=CTc/postgres}"

}

]

环境变量:

支持以下环境变量:

PGHOST、PGPORT、PGUSER、PGPASSWORD、PGDATABASE。

下载地址:https://github.com/soheilpro/pgcmd

2、AresDB(基于 GPU 运算的实时分析存储引擎和查询引擎)

AresDB 是 Uber 开源的一个基于 GPU 运算的实时分析存储引擎和查询引擎。具备低查询延迟、高数据刷新率和高效内存和磁盘存储管理。AresDB 要求 CUDA Toolkit 的支持。需要接受 CUDA 最终用户许可协议

AresDB 的查询引擎使用 C++ 编写,存储管理和其他查询组件使用 Go 编写。

AresDB 系统架构:

数据查询pgcmd、AresDB、OpenFEA、Pilosa、Elasticsearch介绍

构建和运行 AresDB 需要:

golang 1.9+、C++ compiler that support c++11、nvcc version 9.1。

获取AresDB:

git clone --recursive https://github.com/uber/aresdb.git $GOPATH/src/github.com/uber/aresdb

环境变量:

运行以下命令以确保正确设置了以下环境变量:

export PATH=/path/to/cuda/bin:${PATH}

export LD_LIBRARY_PATH=/path/to/cuda/lib64:/path/to/aresdb/lib:${LD_LIBRARY_PATH}

export PKG_CONFIG_PATH=${LD_LIBRARY_PATH}/pkgconfig:${PKG_CONFIG_PATH}

配置:

运行以下命令以生成makefile:

cmake -DQUERY_MODE=DEVICE .

或者,如果要在CPU模式下运行查询,请运行以下命令:

cmake -DQUERY_MODE=HOST .

下载地址:https://github.com/uber/aresdb

3、OpenFEA(可视化大数据分析挖掘工具)

一、简介

FEA是一站式大数据敏捷分析中间件,融合了内存计算、机器学习、交互分析、可视化分析等技术,涵盖数据收集、数据探索、构建模型、发布模型、可视化展示、分析门户等功能,无需复杂编程即可快速实现大数据分析及构建态势感知系统。FEA,让大数据分析变的简单。

二、效果图

数据查询pgcmd、AresDB、OpenFEA、Pilosa、Elasticsearch介绍

数据查询pgcmd、AresDB、OpenFEA、Pilosa、Elasticsearch介绍

数据查询pgcmd、AresDB、OpenFEA、Pilosa、Elasticsearch介绍

三、架构(全景图)

数据查询pgcmd、AresDB、OpenFEA、Pilosa、Elasticsearch介绍

四、特性

1]、分析与应用之间的中间件

有机整合了AI的交互分析、机器学习、深度学习、内存计算、流计算、图计算等功能,BI的可视化分析、可视化展现、深度交互、DASHBOARD、导航及门户等功能。

2]、双向全流程大数据分析系统

囊括大数据分析的全部流程,不仅可以通过数据挖掘价值并可视化展示,而且通过即定的分析结果可以反向推导。

3]、双核支持,融合Python和Spark双引擎

十亿级数据用Python引擎,百、千亿级数据用Spark引擎。

4]、多源支持,大中小流数据全覆盖

支持关系型数据源、 Hadoop数据源、数据文件、第三方数据源。支持数据源与接口/格式的双向自定义机制。表示各种复杂结构或LOAD和STORE各类数据源,都轻松无忧。

5]、高开放性,4UDx兼容并包

允许用户自定义数据源(UDD)、自定义函数(UDF)、自定义导航(UDN)、自定义图形(UDG),并且支持不断壮大。

6]、弹性部署

在部署方式上特别灵活,支持双节点部署、集群部署、云上部署等方式。

7]、敏捷分析=QUICK

力大无比但反应及处理速度却十分灵敏,像一头可以飞起来的大象。

下载地址:https://gitee.com/openfea/fea3

4、Pilosa(开源的分布式位图索引)

数据查询pgcmd、AresDB、OpenFEA、Pilosa、Elasticsearch介绍

Pilosa 是一个开源的分布式位图索引,可以在多个海量数据集中显著加速查询。

它主要为速度和水平扩展性而设计。如果拥有数十亿的数据并且这些数据拥有数百万的属性,而你希望弄清楚其中的关系,那么 Pilosa 可以提供帮助。

入门说明:

1]、安装Pilosa。

2]、使用默认配置启动Pilosa:

pilosa server

并确认它正在运行:

curl localhost:10101/nodes

3]、跟随示例项目,以更好地了解Pilosa的功能。

下载地址:https://www.pilosa.com/

5、Elasticsearch(分布式搜索引擎)

Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎,能够解决越来越多的用例。作为 Elastic Stack 的核心,它集中存储您的数据,帮助您发现意料之中以及意料之外的情况。

Elasticsearch 是一个实时的分布式搜索分析引擎, 它能让你以一个之前从未有过的速度和规模,去探索你的数据。 它被用作全文检索、结构化搜索、分析以及这三个功能的组合:

1]、Wikipedia 使用 Elasticsearch 提供带有高亮片段的全文搜索,还有 search-as-you-type 和 did-you-mean 的建议。

2]、卫报使用 Elasticsearch 将网络社交数据结合到访客日志中,实时的给它的编辑们提供公众对于新文章的反馈。

3]、Stack Overflow 将地理位置查询融入全文检索中去,并且使用 more-like-this 接口去查找相关的问题与答案。

4]、GitHub 使用 Elasticsearch 对1300亿行代码进行查询。

然而 Elasticsearch 不仅仅为巨头公司服务。它也帮助了很多初创公司,像 Datadog 和 Klout,帮助他们将想法用原型实现,并转化为可扩展的解决方案。Elasticsearch 能运行在你的笔记本电脑上,或者扩展到上百台服务器上去处理PB级数据。

Elasticsearch 中没有一个单独的组件是全新的或者是革命性的。全文搜索很久之前就已经可以做到了, 就像早就出现了的分析系统和分布式数据库。革命性的成果在于将这些单独的,有用的组件融合到一个单一的、一致的、实时的应用中。它对于初学者而言有一个较低的门槛, 而当你的技能提升或需求增加时,它也始终能满足你的需求。

安装说明:

1]、下载并解压缩Elasticsearch文件。

2]、在Unix上运行bin/elasticsearch,或者在Windows上运行bin\elasticsearch.bat。

3]、运行curl -X GET http://localhost:9200/。

4]、启动more servers等操作。

下载地址:https://gitee.com/mirrors/elasticsearch

注明

以上就是数据查询pgcmd、AresDB、OpenFEA、Pilosa、Elasticsearch的介绍内容,这些数据查询软件都能使用在Linux操作系统中。

栏目相关文章