机器/深度学习auto-sklearn、tf-coreml、MusiCoder、Mars-Project介绍

以下为你介绍的机器学习/深度学习软件都可用在Linux系统上:auto-sklearn(自动化的机器学习工具包)、tf-coreml(TensorFlow 转换到 CoreML 的转换器)、MusiCoder(基于深度学习音乐质感转换系统)、Mars-Project(基于张量/矩阵的超大规模计算框架)。

1、auto-sklearn(自动化的机器学习工具包)

auto-sklearn是一个自动化的机器学习工具包,是scikit-learn估算器的直接替代品。

>>> import autosklearn.classification

>>> cls = autosklearn.classification.AutoSklearnClassifier()

>>> cls.fit(X_train, y_train)

>>> predictions = cls.predict(X_test)

auto-sklearn使机器学习用户从算法选择和超参数调整中解放出来。它利用了贝叶斯优化,元学习和集合构造的最新优势。

>>> import autosklearn.classification

>>> import sklearn.model_selection

>>> import sklearn.datasets

>>> import sklearn.metrics

>>> X, y = sklearn.datasets.load_digits(return_X_y=True)

>>> X_train, X_test, y_train, y_test = \

 sklearn.model_selection.train_test_split(X, y, random_state=1)

>>> automl = autosklearn.classification.AutoSklearnClassifier()

>>> automl.fit(X_train, y_train)

>>> y_hat = automl.predict(X_test)

>>> print("Accuracy score", sklearn.metrics.accuracy_score(y_test, y_hat))

许可:

auto-sklearn的许可方式与scikit-learn相同,即3条款BSD许可。

下载地址:https://github.com/automl/auto-sklearn

2、tf-coreml(TensorFlow 转换到 CoreML 的转换器)

tfcoreml-TensorFlow到核心ML转换器。

依赖关系:

tensorflow >= 1.5.0、coremltools >= 0.8、numpy >= 1.6.2、protobuf >= 3.1.0、six >= 1.10.0。

具有Core ML 3的fire tfcoreml转换器:

要试用带有Core ML 3的新转换器,请安装coremltools 3.0和tfcoreml 1.0:

pip install coremltools==3.0

pip install tfcoreml==1.0

有一个新参数target_ios,可用于设置最低目标iOS,默认为target_ios='12'。

此外,对于target_ios 13或更高版本,必须将节点名称传递给input_name_shape_dict和output_feature_names,例如:

import tfcoreml as tf_converter

tf_converter.convert(tf_model_path='model.pb',

 mlmodel_path='model.mlmodel',

 output_feature_names=['softmax'],

 input_name_shape_dict={'input': [1, 227, 227, 3]},

 target_ios='13')

安装:

1]、从源安装

要获取最新版本的转换器,请克隆此存储库并从源代码安装:

git clone https://github.com/tf-coreml/tf-coreml.git

cd tf-coreml

要使用pip作为软件包安装,请运行(在根目录下):

pip install -e .

或运行:

python setup.py bdist_wheel

2]、从PyPI安装

要安装PyPI软件包:

pip install -U tfcoreml

目录:

tfcoreml:tfcoreml软件包。

examples:使用此转换器的示例。

tests:单元测试。

utils:用于图形检查的常规脚本。

下载地址:https://github.com/tf-coreml/tf-coreml

3、MusiCoder(基于深度学习音乐质感转换系统)

机器/深度学习auto-sklearn、tf-coreml、MusiCoder、Mars-Project介绍

它是一款基于深度学习的轻量化音乐质感转换系统。

功能简介:

像给照片选取滤镜一样,自由地改变自己喜欢的音乐的风格与流派。

1]、基于深度学习算法,改变歌曲的质感(已经完成封装,可以直接调用)。

2]、经过裁剪与优化的模型,可部署在低配置云服务器上,并借助我们的通讯组件与客户端实现相应交互式应用。

3]、轻量级跨平台客户端,资源占用更少,操作逻辑更简,输出时间更短,服务更具想象力。

整体架构:

机器/深度学习auto-sklearn、tf-coreml、MusiCoder、Mars-Project介绍

MusiCoder-服务器端:

算法数据流:

机器/深度学习auto-sklearn、tf-coreml、MusiCoder、Mars-Project介绍

配置及环境要求:

1]、基本配置

Ubuntu 12.04 LTS 及以上

内存4G及以上 (推荐)

Python 3 环境

2]、所需主要依赖

科学计算与数据可视化:matplotlib+scipy(numpy/pylab/etc)。

图形图像:PIL.Image。

音频处理:librosa+pydub+ffmpeg(配置为环境变量)。

模型文件:

请分别解压并放置在 converter/models 下。

运行:

1]、开放端口 [port]。

2]、执行命令,运行程序(后台静默模式)nohup python3 server.py [port] &。

性能预估:

在配置为双核Intel Xeon CPU E5-26xx v4 CPU和4G内存的设备上,极限负载为同时承受约20个客户端的峰值任务。在正常连接情况下,服务器端程序应当可以对各类情况做出正确反馈。但是在客户端中途掉线时,可能会导致 temp 目录下出现残留文件,建议定时进行清除。

MusiCoder-客户端:

机器/深度学习auto-sklearn、tf-coreml、MusiCoder、Mars-Project介绍

配置要求:

1]、较新的Window系统,4G内存及以上。

2]、暂无特殊环境要求。

数据传输信息:

此次客户端发行版本所连接的服务器[ip:端口]为[140.143.62.99:2333] 此服务器性能较差(双核cup,4G内存)。如果想部署自己的服务,请针对服务器进行重新配置。

安装及运行说明:

直接启动对应版本的安装包即可安装。安装完成后,联网条件下启动,进行使用。

TODO:

改善客户端交互。

提升后台速度。

发行OSX、Linux版本。

修复出现的bug。

开源训练代码。

下载地址:https://github.com/Pzoom522/MusiCoder

4、Mars-Project(基于张量/矩阵的超大规模计算框架)

Mars 是一个基于张量/矩阵的超大规模计算框架。

通过简单的 import 替换,就可以将 numpy 的代码替换成 Mars tensor。Mars 能在单机利用多核并行,同时,能在千台规模集群进行分布式处理超大规模张量/矩阵。

据测试,在真实场景计算 2.25T 大小的矩阵和 2.25T 大小矩阵乘法,Mars 能在2个小时的时间计算完成。开发团队还扩展了 numpy,让 Mars 具备在 GPU 上计算和创建稀疏矩阵的能力。后续还将开发完全兼容 pandas 的 Mars DataFrame 部分,希望能将整个 scipy 技术栈带到分布式环境。

单机使用 Mars:

pip install pymars

分布式版本:

pip install 'pymars[distributed]'

Mars 张量提供了类似于 NumPy 的接口。

机器/深度学习auto-sklearn、tf-coreml、MusiCoder、Mars-Project介绍

开发人员安装:

git clone https://github.com/mars-project/mars.git

cd mars

pip install -e ".[dev]"

下载地址:https://github.com/mars-project/mars

注明

以上就是机器/深度学习auto-sklearn、tf-coreml、MusiCoder、Mars-Project的介绍内容,这些机器学习/深度学习软件都能使用在Linux操作系统中。

栏目相关文章