计算机视觉库/人脸识别mmcv、faceswap、Luminoth、SphereFace介绍

以下为你介绍的计算机视觉库/人脸识别软件都可用在Linux系统上:mmcv(计算机视觉研究基础 Python 库)、faceswap(深度学习换脸工具)、Luminoth(计算机视觉工具包)、SphereFace(人脸识别算法)。

1、mmcv(计算机视觉研究基础 Python 库)

mmcv 是用于计算机视觉研究的基础 Python 库,支持 MMLAB 中的许多研究项目,例如 mmdetection。该库主要分为两个部分,一部分是与深度学习框架无关的工具函数,比如 IO/Image/Video 相关的一些操作,另一部分是为 PyTorch 写的一套训练工具,可以大大减少用户需要写的代码量,同时让整个流程的定制变得容易。

它提供以下功能:

通用 IO API、图像处理、视频处理、图像和注释可视化、实用程序 (progress bar、timer、 ...)、带有 hook 机制的 PyTorch 运行器、各种 CNN 架构。

安装:

pip install mmcv

或从源安装:

git clone https://github.com/open-mmlab/mmcv.git

cd mmcv

pip install -e .

下载地址:https://github.com/open-mmlab/mmcv

2、faceswap(深度学习换脸工具)

FaceSwap 是一个利用深度学习来识别图片和视频中的人脸,并进行变换人脸的工具。

计算机视觉库/人脸识别mmcv、faceswap、Luminoth、SphereFace介绍

计算机视觉库/人脸识别mmcv、faceswap、Luminoth、SphereFace介绍

当facewapping首次开发和发布时,该技术是开创性的,这是人工智能开发的一大步。它在学术界之外也完全被忽略了,因为代码令人困惑和零碎。它需要彻底了解复杂的人工智能技术,并花了很多精力来弄清楚。直到一个人将它们组合成一个单一的,有凝聚力的集合。它运行起来,它起作用,并且随着互联网上新技术的出现,它立即用于制作色情内容。问题是,这是第一个没有博士学位的人可以通过实验下载,运行和学习的AI代码。在数学,计算机理论,心理学等方面。在“深度伪造”之前,这些技术就像黑魔法一样,只有那些能够理解所有内部运作的人才能实践,如深奥和无尽复杂的书籍和论文所述。

“Deepfakes”改变了这一切,任何人都可以参与AI开发。对我们这些开发人员来说,这段代码的发布开启了一个绝佳的学习机会。它使我们能够建立在他人开发的想法基础上,与各种熟练的编码人员合作,在学习新技能的同时进行人工智能实验,并最终为新兴技术做出贡献,这种新技术只会在其发展过程中看到更多的主流用途。

是否有一些人使用类似的软件做可怕的事情?是。因此,开发人员一直遵循严格的道德标准。我们中的许多人甚至不使用它来创建视频,我们只是修改代码以查看它的作用。可悲的是,媒体只关注这个软件的不道德用途。不幸的是,这是它首次暴露给公众的本质,但它并不代表它为什么被创造,我们现在如何使用它,或者我们在未来看到的。像任何技术一样,它可以用于良好或可以被滥用。我们的目的是开发FaceSwap,使其滥用的可能性最小化,同时最大限度地发挥其作为学习,试验和合法面孔等工具的潜力。

我们不是试图诋毁名人或贬低任何人。我们是程序员,我们是工程师,我们是好莱坞VFX艺术家,我们是活动家,我们是业余爱好者,我们是人类。为此,我们觉得现在是时候提出一个关于这个软件是什么的标准陈述,而不是我们开发人员所关心的。

FaceSwap不是用于制作色情片,FaceSwap不是为了在未经同意或隐藏其使用的情况下更换面孔。FaceSwap不适用于任何非法,不道德或有问题的目的。

FaceSwap用于实验和发现人工智能技术,社交或政治评论,电影以及任何道德和合理用途。

我们对FaceSwap可用于不道德和声名狼借的事实感到非常困扰。但是,我们支持开发可以合乎道德使用的工具和技术,并为想要亲自动手学习的人提供AI的教育和经验。我们将对任何使用此软件的人采取零容忍方法用于任何不道德的目的,并将积极阻止任何此类用途。

概览:

该项目有多个入口,你需要做的事:

1]、收集照片(或使用以下训练数据中提供的照片)。

2]、从原始照片中提取面部图像。

3]、在照片上训练模型(或使用以下训练数据中提供的模型)。

4]、使用模型转换源代码。

提取:

运行您文件夹中的 python faceswap.py extract。这一步将把图像从 src 文件放到提取文件夹中。

训练:

运行您安装文件中的 python faceswap.py 训练。这一步训练模型将两组照片保存到模型文件夹内。

转换:

运行您文件中的 python faceswap.py 转换。这一步将把原始文件夹中的照片应用到修改后的文件夹中。

一般注意事项:

所有提到的脚本都带有 -h / - 帮助选项,以及可以接收的库。你很聪明,可以弄清楚它的工作原理,对吗?注意:现在视频还没有开始转换。您可以使用 MJPG 将视频转换为照片,处理图像并将图像转换回视频。

下载地址:https://github.com/deepfakes/faceswap

3、Luminoth(计算机视觉工具包)

Luminoth 是一个开源的计算机视觉工具包,目前支持目标探测和图像分类,但以后会有更多的扩展。该工具包在 TensorFlow 和 Sonnet 上用 Python 搭建而成。易于使用、训练、理解结果。本文介绍了 Luminoth 及其安装过程。不过,该工具包只具备内部测试版品质,即内部和外部接口(如命令行)非常可能随着代码库的成熟而变化。

计算机视觉库/人脸识别mmcv、faceswap、Luminoth、SphereFace介绍

Luminoth 的特点:

1]、开箱使用

Luminoth 是一个开源的工具包,简单易用。

2]、可定制的目标检测和分类模型

使用自定义数据轻松训练神经网络,实现目标检测和分类。使用的是当前最优的模型比如 Faster R-CNN。

3]、在 TensorFlow & Sonnet 上搭建

Luminoth 建立在谷歌深度学习框架 TensorFlow 和 DeepMind 的图形库 Sonnet 上。

4]、训练过程简单

只需要键入 lumi train 就可以训练模型。可以在本地训练,或者使用 Luminoth 内置的谷歌云平台支持在云端训练模型。

训练完成之后,你可以使用 Tensorboard 集成可视化进展和中间结果,还可使用不同的数据分割对模型进行评估。

计算机视觉库/人脸识别mmcv、faceswap、Luminoth、SphereFace介绍

5]、结果易于理解

可视化结果的能力一直很重要,尤其在计算机视觉领域。在模型训练完之后,使用我们的 UI 或者命令行接口,即可获得容易理解的摘要(summary)和结果的图可视化。

计算机视觉库/人脸识别mmcv、faceswap、Luminoth、SphereFace介绍

安装命令:

只需从PyPI安装:

pip install luminoth

(可选)如果您使用pip install luminoth [tf]或pip install luminoth [tf-gpu]进行安装,Luminoth也可以为您安装TensorFlow,具体取决于您要使用的TensorFlow的版本。

下载地址:https://github.com/tryolabs/luminoth

4、SphereFace(人脸识别算法)

计算机视觉库/人脸识别mmcv、faceswap、Luminoth、SphereFace介绍

SphereFace 是论文 <SphereFace: Deep Hypersphere Embedding for Face Recognition> 的实现,也是一套人脸识别算法。

文章提出了归一化权值(normalize weights and zero biases)和角度间距(angular margin),基于这2个点,对传统的 softmax 进行了改进,从而实现了最大类内距离小于最小类间距离的识别标准。

SphereFace 自去年提交 MegaFace Challenge 后,在小数据集协议(少于50W的训练数据)上一直保持 verification performance 第一。SphereFace 相比传统 softmax 在 MegaFace 上的 Verification TAR 提高了 24.1% (从 65.9% 到 90%),在 LFW 上 single model 达到 99.42% 的 Accuracy,论文发表在今年的 CVPR 2017。

除了 face recognition,代码还提供了一整套从 detection 到 alignment 再到 recognition 的 demo,欢迎大家尝试使用。

PS:Demo 没有用任何视频中出现过的演员人脸做训练集,只用了每个角色的一张人脸作为 Probe

环境要求:

Matlab、Caffe和Matcaffe、MTCNN。

安装:

1]、克隆SphereFace存储库,我们将克隆SphereFace的目录称为SPHEREFACE_ROOT:

git clone --recursive https://github.com/wy1iu/sphereface.git

2]、制作Caffe和Matcaffe:

cd $SPHEREFACE_ROOT/tools/caffe-sphereface

# Now follow the Caffe installation instructions here:

# http://caffe.berkeleyvision.org/installation.html

make all -j8 && make matcaffe

下载地址:https://github.com/wy1iu/sphereface

注明

以上就是计算机视觉库/人脸识别mmcv、faceswap、Luminoth、SphereFace的介绍内容,这些计算机视觉库/人脸识别软件都能使用在Linux操作系统中。

栏目相关文章