机器/深度学习Boilerpipe、Propel、Detectron、Darkon介绍

以下为你介绍的机器学习/深度学习软件都可用在Linux系统上:Boilerpipe(HTML 正文内容提取库)、Propel(可微分编程机器学习框架)、Detectron(先进目标检测算法整合库)、Darkon(可更好理解深度学习模型的工具包)。

1、Boilerpipe(HTML 正文内容提取库)

Boilerpipe 是一个能从 HTML 中剔除广告和其他附加信息,提取出目标信息(如正文内容、发布时间)的 Java 库。其算法的基本思想是通过训练获得一个分类器来提取出我们需要的信息。

Boilerpipe 的包结构:

机器/深度学习Boilerpipe、Propel、Detectron、Darkon介绍

boilerpipe,根目录:

document,文档包,定义了 boilerpipe 所处理文档数据类型,主要包括 TextDocument 和 TextBlock。一个 TextDocument 即一个网页,由多个 TextBlock 构成。

lables,标签,每个 TextBlock 都有一个 lable 字段,表示该 TextBlock 的属性(如是不是正文)。

filters,过滤器,定义了多个过滤器,过滤器的作用即对 TextBlock 进行过滤,使用机器学习、统计、启发式方法等数据挖掘算法判断哪些 TextBlock 是所需要的(正文段),给 TextBlock 加上 lable,去除无关的 TextBlock。

sax,SAX 解析器,定义了从各种来源获取并解析网页的方法。

extractors,提取器,提取流程的入口。每个 extractor 都定义了自己的提取方法,通过调用不同的 filter 达到不同的处理效果。

conditions,条件判断,判断一个 TextBlock 是否满足特定的条件。

estimators,评估器,评估一个 extractor 对特定 document 的提取效果。

调用关系图示:

机器/深度学习Boilerpipe、Propel、Detectron、Darkon介绍

下载地址:https://github.com/kohlschutter/boilerpipe

2、Propel(可微分编程机器学习框架)

机器/深度学习Boilerpipe、Propel、Detectron、Darkon介绍

Propel 是一个使用 JavaScript 做可微分编程的机器学习框架,既能在 Node 中使用,又能在浏览器中使用。在这两种环境中,Propel 都能够使用 GPU 硬件进行加速计算。在浏览器中,它能通过 deeplearn.js 使用 WebGL,在 Node 上,它能使用 TensorFlow 的 C API。

Node 中使用:

npm install propel

import { grad } from "propel";

浏览器中使用:

<script src="https://unpkg.com/propel@3.0.0"></script>

与 TensorFlow 不同的是,Propel 有一个命令式的 autograd 风格的 API。运行过程中会随着追踪计算图 —— 一种通用的梯度函数提供反向传播的简洁接口。

import { grad, linspace, plot } from "propel";

f = x => x.tanh();

x = linspace(-4, 4, 200);

plot(x, f(x),

x, grad(f)(x),

x, grad(grad(f))(x),

x, grad(grad(grad(f)))(x),

x, grad(grad(grad(grad(f))))(x))

下载地址:https://github.com/propelml/propel

3、Detectron(先进目标检测算法整合库)

机器/深度学习Boilerpipe、Propel、Detectron、Darkon介绍

Detectron 是 Facebook AI 研究院(FAIR )开源的软件系统,实现了最先进的目标检测算法,包括 Mask R-CNN。

在 FAIR 实验室,Detectron 目前已经支持很多研究项目的实现,包括:

Feature Pyramid Networks for Object Detection

Mask R-CNN

Detecting and Recognizing Human-Object Interactions

Focal Loss for Dense Object Detection

Non-local Neural Networks, Learning to Segment Every Thing

Data Distillation: Towards Omni-Supervised Learning

Detectron 的目标是为目标检测研究提供高质量、高性能的代码库。它灵活的特性可支持快速实现和验证新研究。

Detectron 目前包含以下目标检测算法的实现:

Mask R-CNN

RetinaNet

Faster R-CNN

RPN

Fast R-CNN

R-FCN

引用Detectron:

如果您在研究中使用Detectron或希望参考Model Zoo中发布的基线结果,请使用以下BibTeX条目:

@misc{Detectron2018,

 author =       {Ross Girshick and Ilija Radosavovic and Georgia Gkioxari and Piotr Doll\'{a}r and Kaiming He},

 title =        {Detectron},

 howpublished = {\url{https://github.com/facebookresearch/detectron}},

 year =         {2018}

}

下载地址:https://github.com/facebookresearch/Detectron

4、Darkon(可更好理解深度学习模型的工具包)

机器/深度学习Boilerpipe、Propel、Detectron、Darkon介绍

Darkon 是一个更好地理解深度学习模型的开源工具包。

深度学习由于难以被理解,经常被戏称为黑箱(black-box)。但是,可解释性与可控性对深度学习模型的商业化至关重要。人们通常认为只要准备高准确性的数据集足以将该模型用于商业产品。但是,但实际情况却是经常在实际应用中遭受失败,并会导致极端案例的出现。

Darkon 旨在帮助理解已训练模型,进而调试故障,解释决策等等。

依赖:

Tensorflow>=1.3.0

安装:

Install Darkon alone

pip install darkon

Install with TensorFlow CPU

pip install darkon[tensorflow]

Install with TensorFlow GPU

pip install darkon[tensorflow-gpu]

下载地址:https://github.com/darkonhub/darkon/

注明

以上就是机器/深度学习Boilerpipe、Propel、Detectron、Darkon的介绍内容,这些机器学习/深度学习软件都能使用在Linux操作系统中。

栏目相关文章