数据处理http-mock-middleware、PackOne、OpenCTI、Koalas介绍

以下为你介绍的数据处理软件都可用在Linux系统上:http-mock-middleware(http mock 库)、PackOne(大数据软件栈部署与管理工具)、OpenCTI(开放的网络威胁情报平台)、Koalas(Apache Spark Pandas API)。

1、http-mock-middleware(http mock 库)

http-mock-middleware 是一个 http mock 库,或者说 ajax/websocket mock 库,它接收来自 web 前端页面的 ajax/websocket 请求,将请求映射到本地 mock 文件并经过一系列插件处理后返回给 web 前端页面。http-mock-middleware 特性如下:

支持任意 http 方法和任意 url 格式。

支持 mock 任意文件。

mock json 文件时,支持 [mockjs](http://mockjs.com/examples.html) 语法,[json5](https://json5.org/) 语法。

mock json 文件时,支持根据 query, body, headers, cookie 等信息按需响应。

mock json 文件时,支持设置 cookie、http 头、http 状态码。

mock json 文件时,支持响应延时,杀掉请求,请求数据引用。

支持将 websocket onmessage 事件映射到本地 mock 文件。

支持主动发送 websocket 消息。

支持无重启代理后端服务器,支持将代理的后端服务器内容保存为本地 mock 文件。

无缝对接 webpack-dev-server、vue-cli-service、express 等。

支持一键导入 har 为本地 mock 文件。

安装:

npm i -D hm-middleware

或者:

yarn add -D hm-middleware

http-mock-middleware 暴露了一个简单的服务器命令: http-mock-server,让你可以无需任何配置即可快速的得到一个 mock server,所以,如果你觉得方便的话可以使用全局安装的方式:

npm i -g hm-middleware

下载地址:https://github.com/mystorp/http-mock-middleware

2、PackOne(大数据软件栈部署与管理工具)

数据处理http-mock-middleware、PackOne、OpenCTI、Koalas介绍

PackOne 致力于实现主流大数据软件在云端的快速弹性部署。通过对云 API 和 Apache Ambari API 的联合调用,完成 Hadoop、Spark、NiFi、PiFlow、Kylin、MangoDB、Neo4J 等流行的大数据管理/处理软件在云端的一键部署和一键伸缩。主要特性包括:

支持在空白虚拟机上完成大数据处理集群的全自动部署。

通过 Apache Ambari 对已部署的大数据软件进行状态监控、配置管理。

通过将模版集群物化为系统镜像,实现新集群的分钟级快速部署。

通过集群节点的全自动增删,实现各类大数据软件处理能力的分钟级弹性伸缩。

在同一个界面上对来自不同云的虚拟机、存储卷、镜像、模版等进行 CURD 操作。

PackOne 支持不同类型的云平台。目前版本实现了对 OpenStack 和 EVCloud 两款私有云的适配。

数据处理http-mock-middleware、PackOne、OpenCTI、Koalas介绍

数据处理http-mock-middleware、PackOne、OpenCTI、Koalas介绍

PackOne 可执行程序包的安装、配置、运行方式都比较简单。

一、安装

选择一台能够访问目标云的 Linux 主机 (以 Centos 7.5 为佳),依次执行:

pip install pk1

pip install -U pip setuptools

二、配置

创建一个Postgresql数据库实例,并准备好其连接信息,包括:db_user(数据库用户)、db_passwd(用户密码)、db_host(数据库主机地址)、db_port(数据库端口号)、db_name(数据库名)。然后执行:

pk1 setup --database db_user:db_passwd:db_host:db_port:db_name

(会提示设置管理员 admin 的邮箱、密码等信息。)

三、运行 PackOne 服务

pk1 start [--listening 0:11001]

四、快速上手:以 OpenStack 私有云为例

访问网址:http://packone-server-ip:11001

进入添加“云”的界面,输入如下图格式所示的 OpenStack 用户密钥信息。创建成功会自动导入云端的镜像、模版。然后进入 user/profiles 界面,为当前用户添加一个 profile,进入 user/balances 界面,为该 profile 在新添加的云上添加余额(大于零即可)。

数据处理http-mock-middleware、PackOne、OpenCTI、Koalas介绍

回到云列表界面,选择刚才新创建的云,在操作下拉框点选“bootstrap…”按钮,触发在空白虚拟机上全自动部署模版集群的后台工作流。通过 clouds/operations 界面可监控工作流的执行进度,若遇到某步操作出错,可以点按 re-run 按钮重新执行,直至成功。

数据处理http-mock-middleware、PackOne、OpenCTI、Koalas介绍

当工作流执行完毕后,可以在 engines/clusters 界面选择刚才创建的名为 bootstrap.<云名称>的模版集群,点按“Materialize the cluster as a scale”将其镜像化。最后,创建新集群时,可在 engines/cluster 的创建集群界面选择名为“packone.<云名称>”的 scale,实现新集群的快速创建。

五、停止PackOne服务

pk1 stop

PackOne 目前以 Apache License V2.0 协议在 Gitee 上开源,欢迎提交 Issue、PR。

下载地址:https://gitee.com/opensci/packone

3、OpenCTI(开放的网络威胁情报平台)

数据处理http-mock-middleware、PackOne、OpenCTI、Koalas介绍

OpenCTI 即 Open Cyber Threat Intelligence Platform,开放网络威胁情报平台。它的创建是为了构建、存储、组织和可视化有关网络威胁的技术和非技术信息。

它使用基于 STIX2 标准的知识模式来执行数据的结构化。并被设计为现代 Web 应用程序,包括 GraphQL API 和面向 UX 的前端。此外,OpenCTI 可以与其他工具和应用程序集成,如 MISP、TheHive、MITRE ATT 和 CK 等。

OpenCTI 的目标是创建一个综合工具,允许用户利用技术(如 TTP 和可观测量)和非技术信息,同时将每条信息链接到其主要来源(报告、MISP 事件等),并具有每个信息之间的链接、首次和最后看到的日期、置信水平等功能。该工具能够使用 MITRE ATT 和 CK 框架(通过专用连接器)来帮助构建数据。用户还可以选择实现自己的数据集。

一旦数据被利用和处理,就可以从现有关系中推断出新的关系,以便于理解和表示这些信息。这允许用户从原始数据中提取和利用有意义的信息。

OpenCTI 不仅允许导入,还允许以不同格式(CSV、STIX2 捆绑包等)导出数据。目前正在开发连接器以加速工具与其他平台之间的交互。

下载地址:https://www.opencti.io/

4、Koalas(Apache Spark Pandas API)

通过扩充Apache Spark的Python DataFrame API以与Pandas兼容,Koalas项目在与大数据交互时提高了数据科学家的工作效率。

Pandas是Python中事实上的标准(单节点)数据帧实现,而Spark是大数据处理的事实标准。有了这个包,数据科学家可以:

1)、如果已经熟悉Pandas,那么使用Spark可以立即提高效率,没有学习曲线。

2)、单个代码库就可以用于Pandas(测试,较小的数据集)和Spark(分布式数据集)。

入门:

推荐安装Koalas的方法是使用Conda,如下所示:

conda install koalas -c conda-forge

您不仅可以使用Conda,还可以使用多种方式来安装Koalas。

如果您是Databricks运行时用户,则可以使用群集UI上的库选项卡或下面的笔记本中的dbutils(对于常规Databricks运行时)安装Koalas:

dbutils.library.installPyPI("koalas")

dbutils.library.restartPython()

请注意,Koalas需要Databricks Runtime 5.x或更高版本,将来,我们将在常规的Databricks Runtime和用于机器学习的Databricks Runtime中开箱即用地打包Koalas。

现在,您可以将pandas DataFrame转换为与API兼容的Koalas DataFrame:

import databricks.koalas as ks

import pandas as pd

pdf = pd.DataFrame({'x':range(3), 'y':['a','b','b'], 'z':['a','b','b']})

# Create a Koalas DataFrame from pandas DataFrame

df = ks.from_pandas(pdf)

# Rename the columns

df.columns = ['x', 'y', 'z1']

# Do some operations in place:

df['x2'] = df.x * df.x

下载地址:https://github.com/databricks/koalas

注明

以上就是数据处理http-mock-middleware、PackOne、OpenCTI、Koalas的介绍内容,这些数据处理软件都能使用在Linux操作系统中。

栏目相关文章