机器/深度学习ElasticDL、didi AoE、AidLearning、ListenBrainz介绍

以下为你介绍的机器学习/深度学习软件都可用在Linux系统上:ElasticDL(Kubernetes 原生深度学习框架)、didi AoE(终端侧 AI 集成运行时环境)、AidLearning(Android+Linux+AI 快速开发与学习平台)、ListenBrainz(开源音乐推荐引擎)。

1、ElasticDL(Kubernetes 原生深度学习框架)

机器/深度学习ElasticDL、didi AoE、AidLearning、ListenBrainz介绍

ElasticDL 是一个基于 TensorFlow 2.0 构建的 Kubernetes 原生深度学习框架,支持容错和弹性调度。

TensorFlow 具有故障可恢复的原生分布式计算功能,在某些进程挂掉的情况下,分布式计算作业将停止,但是可以重新启动作业并从最新的检查点文件中恢复其原有状态。

ElasticDL 在此基础上支持容错。ElasticDL 不需要检查点也不需要从检查点恢复,在某些进程挂掉的情况下,该作业将继续运行。

容错的特性使得 ElasticDL 与基于优先级的 Kubernetes 抢占一起实现了弹性调度能力。当 Kubernetes 杀死某个作业的某些进程以为具有更高优先级的新作业释放资源时,当前作业不会停止,而是使用更少的资源继续运作。弹性调度可以显着提高集群的整体利用率。

ElasticDL 弹性调度的特点来自其 Kubernetes 原生设计,它不依赖于像 Kubeflow 这样的 Kubernetes 扩展来运行 TensorFlow 程序。ElasticDL 作业的主进程直接调用 Kubernetes API 来启动工作程序和参数服务器,它还会监视诸如 process/pod killing 之类的事件,并对此类事件做出反应以实现容错。

此外,ElasticDL 还可以与 SQLFlow 配合,更加易于使用。

简约界面:

给定使用Keras API定义的模型,请使用命令行训练模型。

elasticdl train --model_def=mnist_functional_api.custom_model --training_data=/mnist/train --output=output

与SQLFlow集成:

ElasticDL将与SQLFlow无缝集成,从而通过ElasticDL将SQL连接到分布式深度学习任务。

SELECT * FROM employee LABEL income INTO my_elasticdl_model

下载地址:https://github.com/sql-machine-learning/elasticdl

2、didi AoE(终端侧 AI 集成运行时环境)

机器/深度学习ElasticDL、didi AoE、AidLearning、ListenBrainz介绍

AoE(AI on Edge,终端智能,边缘计算)是一个终端侧 AI 集成运行时环境(IRE)。以 “稳定性、易用性、安全性” 为设计原则,帮助开发者将不同框架的深度学习算法轻松部署到终端高效执行。

目前,AoE 提供了 Android 和 iOS 的实现,Linux 平台运行时环境 SDK 正在紧锣密鼓地开发中,它将方便智能终端设备上落地 AI 业务。

为什么要做一个终端 AI 集成运行时框架:

1]、框架多样性,随着人工智能技术快速发展,这两年涌现出了许多运行在终端的推理框架,一方面给开发者带来更多选择,另外一方面也增加了将 AI 布署到终端的成本。

2]、流程繁琐,通过推理框架直接接入 AI 的流程比较繁琐,涉及到动态库接入、资源加载、前处理、后处理、资源释放、模型升级,以及如何保障稳定性等问题。

下载地址:https://github.com/didi/aoe

3、AidLearning(Android+Linux+AI 快速开发与学习平台)

机器/深度学习ElasticDL、didi AoE、AidLearning、ListenBrainz介绍

AidLearning App在Android手机上构建了一个带图形界面的Linux系统(不需要root),和你的Android系统共生共存,并内置了目前排名top7的深度学习框架包括Caffe、Tensorflow、Mxnet、pytorch、keras、ncnn、opencv,你不再需要复杂的配置和翻墙安装依赖包。

AidLearning同时是一款口袋AI编程工具,内置的AiCode可视化编程器,可以让你在手机上用python(同时支持Python2和Python3)轻松零基础编程,支持触摸拖拽式界面设计,支持代码实时调试和图形化运行。Aid Learning内置大量人脸识别、行为识别、分类等AI源码例子程序,你可以零基础在手机上开发AI App。

此外,Aid Learning提供了基于wifi的映射投屏技术,可以把手机的代码投屏到电脑pc进行web互动编程和SSH远程命令交互,同时也可投影到电视机、投影仪进行大屏显示。

总之,Aid Learning打造了一个Android+Linux+AI 三合一的触摸拖拽式的快速开发和学习平台,不仅可利用手机进行碎片式编程,同时可充分利用两大主流操作系统(Android+Linux)的开发优势和手机的完美终端优势,利用这种优势,Aid Learning打造了一个完美的编程学习和开发的新平台。

下载地址:https://github.com/aidlearning/AidLearning-FrameWork

4、ListenBrainz(开源音乐推荐引擎)

ListenBrainz 是一个 Python 开发的开源音乐推荐引擎,是由前 Last.fm 团队开发的。

该项目有两个主要目标:

1]、允许用户保留其现有的Last.fm数据。ListenBrainz由MetaBrainz基金会运营,该基金会长期以来一直在为公众提供策划,保护和数据。MetaBrainz承诺无限期地保护ListenBrainz数据。

2]、将这些非常有用的音乐使用数据提供给任何关心它的人。我们希望ListenBrainz,MusicBrainz和AcousticBrainz的结合将为开发人员提供足够的数据来创建新的音乐推荐系统。 音乐推荐系统很难开发,因为公开的音乐数据集不存在。通常,在构建推荐系统之前,初创公司会花费大量资金来创建这些数据集。我们的目标是缩短这一过程,并将创造推荐引擎的力量交到每个人手中。我们计划在CC0许可下发布数据。

计算统计:

ListenBrainz使用Google BigQuery计算统计信息,您需要在凭证目录中使用一个名为bigquery-credentials.json的BigQuery凭证文件,该文件才能正常工作,该文件是通过创建新项目从Google BigQuery网站获得的,config.py中的WRITE_TO_BIGQUERY变量也需要设置为True。

统计信息是在调度程序容器中自动计算的,但是如果您要手动启动统计信息计算,请运行它。

docker-compose -f docker/docker-compose.yml -p listenbrainz run --rm web python manage.py stats calculate

下载地址:https://github.com/metabrainz/listenbrainz-server

注明

以上就是机器/深度学习ElasticDL、didi AoE、AidLearning、ListenBrainz的介绍内容,这些机器学习/深度学习软件都能使用在Linux操作系统中。

栏目相关文章