Antkillerfarm Hacking V7.0

AI工具

2018-12-03

AI工具

Huggingface

Hugging face起初是一家总部位于纽约的聊天机器人初创服务商,他们本来打算创业做聊天机器人,然后在github上开源了一个Transformers库,虽然聊天机器人业务没搞起来,但是他们的这个库在机器学习社区迅速大火起来。目前已经共享了超100,000个预训练模型,10,000个数据集,变成了机器学习界的github。

官网:

http://www.huggingface.co

它的国内竞品有:modelscope

Huggingface提供的工具库中比较知名的有Accelerate和Optimum。Accelerate专注于开箱即用的分布式训练,而Optimum作为Transformer的扩展,通过利用用户目标硬件的最大效率来加速模型训练和推理。

Optimum又是另一开源项目的封装:

https://onnxruntime.ai/docs/performance/transformers-optimization.html


Huggingface的transformers项目,为该网站HUB下的模型提供了支撑,成为了目前最流行的transformers专用框架。

代码:

https://github.com/huggingface/transformers


参考:

https://zhuanlan.zhihu.com/p/535100411

Huggingface超详细介绍

https://mp.weixin.qq.com/s/yRn1AELGK3jgfOaaxIo67Q

Huggingface简介及BERT代码浅析

https://mp.weixin.qq.com/s/-fQ9VlaOjssDufcZuCe91w

结合HuggingFace代码浅析Transformer

https://zhuanlan.zhihu.com/p/650438817

GPU分布式训练推理——Accelerate

https://zhuanlan.zhihu.com/p/610800518

Optimum + ONNX Runtime: 更容易、更快地训练你的 Hugging Face 模型

参考

https://mp.weixin.qq.com/s/w6asQp2cI3_K6omlZKtICw

50款大数据分析神器

https://mp.weixin.qq.com/s/TT4whft1Tj1pCEPbnMH1cA

清华大学发布OpenNE:用于网络嵌入的开源工具包

https://mp.weixin.qq.com/s/r01vfSKb4VpFXVyokb54Bg

MIT开放图像标注工具LabelMe源代码:助力机器视觉的发展

https://mp.weixin.qq.com/s/30dK7nGJOWIaa1j9QElrYA

详解帝国理工集成工具TensorLayer:控制深度学习开发复杂度

https://mp.weixin.qq.com/s/m_2LE2QN_8_a1hti6G0Cow

Netflix开源稀疏数据专用神经网络库:Vectorflow

https://mp.weixin.qq.com/s/bMfJ1Ez6bOBjHLquuZFnmQ

Uber与斯坦福大学开源深度概率编程语言Pyro:基于PyTorch

https://mp.weixin.qq.com/s/3r8c63BOiiYfts9KLkXovw

谷歌发布自然语言框架语义解析器SLING

https://mp.weixin.qq.com/s/jTXoCaXEhPPVNcJiyjtN5Q

谷歌宣布对外开放聊天机器人数据分析平台Chatbase

https://mp.weixin.qq.com/s/MhLissrrNw5fJP6I7cxFNA

360推出XLearning:可支持多种机器学习,深度学习框架调度系统!

https://mp.weixin.qq.com/s/ZFtUOtb8mxa11zBHYbza9A

动态神经网络工具包Dynet

https://mp.weixin.qq.com/s/KKy0EBVwrdAgqeG07H9vjg

中科院发布:深度文本匹配开源工具(MatchZoo)

https://mp.weixin.qq.com/s/CetbsnDNQiyaV7grWGgJCg

谷歌发布机器学习工具库Kubeflow:可提供最佳OSS解决方案

https://mp.weixin.qq.com/s/3n6HrpIqSbOKZ-ysTcOTWA

GitHub新项目Deepo:一键安装11项深度学习框架与环境(基于docker)

https://mp.weixin.qq.com/s/VsJh1Er02lIGZap4QUy6eA

PyTorch实现的神经网络翻译框架——机器翻译工具包nmtpytorch

https://mp.weixin.qq.com/s/VBmKPBxWtknWMjLCWcoGjA

如何用Docker成为更高效的数据科学家?

https://mp.weixin.qq.com/s/DxNtgyuNzNqpbZ_9k8uflQ

谷歌开源机器学习可视化工具Facets:从全新角度观察数据

https://mp.weixin.qq.com/s/wFfKcwLu6fmnIn-r_QL7Lw

完全云端运行:使用谷歌CoLaboratory训练神经网络

https://mp.weixin.qq.com/s/-3Gmmk28anznxtg1TWrluw

Parris:机器学习算法自动化训练工具

https://mp.weixin.qq.com/s/9-svsjeSFyUeM8IYphSsgw

Darkon:可更好理解深度学习模型的开源工具包

https://mp.weixin.qq.com/s/JW4QXHzuCkYNV6Y_k3bsFw

整合全部顶尖目标检测算法:FAIR开源Detectron

https://mp.weixin.qq.com/s/kL1bhjdTc1wyYEL4KJqDpg

Detectron精读系列之一:学习率的调节和踩坑

https://mp.weixin.qq.com/s/kUNOE3u40NZmKxUSN7Ie8w

Facebook发布Detectron2,下一个万星目标检测新框架

https://mp.weixin.qq.com/s/L4brTp6ApFC7Zqs5DFpQcA

物体检测和分割轻松上手:从detectron2开始(上篇)

https://mp.weixin.qq.com/s/qFHqFE1jx9K0vOn61Am50Q

物体检测和分割轻松上手:从detectron2开始(下篇)

http://mp.weixin.qq.com/s/TByhSlSbVU5oHqLTLIJgwA

NiftyNet:开源的卷积神经网络和医疗影像分析平台

https://mp.weixin.qq.com/s/TvKUa4DSzPb0ASubGadwEA

上交大推出Texygen:文本生成模型的基准测试平台

https://mp.weixin.qq.com/s/EfqE3wbPRDffQKXTG4tdkQ

用好这几款炼丹利器,调参从此得心应手

https://mp.weixin.qq.com/s/2GEcD5kzqBtpPdXkhxksNw

Facebook发布Tensor Comprehensions:自动编译高性能机器学习核心的C++库

https://mp.weixin.qq.com/s/Rutl-aVbxTu39J0vWHbz-w

Keras作者力推开源框架Lore:15分钟搞定深度学习模型从配置到部署

https://mp.weixin.qq.com/s/TZQcN8rYSc2tH8C1UvyF4g

从预处理到部署:如何使用Lore快速构建机器学习模型

https://mp.weixin.qq.com/s/7g81BnGAD5DpS_1pDxA6QQ

Uber开源神经进化算法开发的交互式可视化工具VINE

https://mp.weixin.qq.com/s/b6wIxn1faieAR2ioU-UxTQ

IBM全新机器学习库SnapML:训练提速46倍,40亿样本仅需91.5秒

https://mp.weixin.qq.com/s/SUz2aqz9VM3xnvKUL80y1w

IBM、哈佛联合提出Seq2Seq-Vis:机器翻译模型的可视化调试工具

https://mp.weixin.qq.com/s/FXWhnmelkjkrSBo-zVpBLw

可视化工具Yellowbrick:超参与行为的可视化带来更优秀的实现

https://mp.weixin.qq.com/s/f3pRA_lyT5jfzWimy6CleA

TensorEditor:一个小白都能快速玩转的神经网络搭建工具

https://mp.weixin.qq.com/s/PD13jQ_00QJ-VOUM8Zm21g

深度学习图像标注工具汇总

https://mp.weixin.qq.com/s/KxeIeVzyhfFCRfqxF4mduA

当深度学习遇见大数据:一文概览BDL学习框架

https://mp.weixin.qq.com/s/K7m7IGwD2Y_ffP9OvMFPMA

TensorFlow推出新工具Seedbank:即刻使用的预训练模型库

https://mp.weixin.qq.com/s/4mZjdFL68V_OXKCkZ72KrQ

谷歌BigQuery ML正式上岗,只会用SQL也能玩转机器学习!

https://mp.weixin.qq.com/s/XSOhG9JGLIhdASAJKHi9mg

国产开源项目也能用SQL解决机器学习问题!与谷歌BigQuery ML有何不同?

https://mp.weixin.qq.com/s/q4Q8uInrFT9IPN0gF928kA

日立开源语义分割数据集标注工具Semantic Segmentation Editor

https://mp.weixin.qq.com/s/PxYG7VxpCw0G3r_PpxVuoQ

Kaggle放大招:简单几步实现海量数据分析及可视化

https://mp.weixin.qq.com/s/Bcxeq1BVDyw1Jc3G4MNR4g

斯坦福开源Weld:高效实现数据分析的端到端优化

https://mp.weixin.qq.com/s/Jv0yDTrXhBbuzzTupBmw5A

OpenCV开发团队开源计算机视觉标注工具CVAT

https://mp.weixin.qq.com/s/lgzi1l-fhwvwAsjHvn9wYg

开源Featuretools:机器学习开发提速10倍!

https://mp.weixin.qq.com/s/tgUguHC56FjgBdUGyg8yRg

Oracle开源GraphPipe:几行代码让你在TensorFlow部署PyTorch模型

https://mp.weixin.qq.com/s/e8BUqCvnfHaLFQMSO1lVkw

腾讯AI Lab提出自动化模型压缩框架PocketFlow:将深度学习装进口袋

https://mp.weixin.qq.com/s/Tm3jrPmaQhP0Wqri8uVo8A

腾讯AI Lab开源模型压缩与加速框架PocketFlow

https://mp.weixin.qq.com/s/eRDdspv7T-Kvm4Zue4RZnA

领英开源TonY:构建在Hadoop YARN上的TensorFlow框架

https://mp.weixin.qq.com/s/–EnBghI4yHNf9WAToKdOw

Petuum&CMU开源Texar:一个模块化、多功能、可扩展的文本生成工具包

https://mp.weixin.qq.com/s/n8wbUgmV873fZw5MI43ljg

简化数据获取!Uber开源深度学习分布训练库Petastorm

https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247505558&idx=5&sn=bc37e5021c598630795e513876feef8b

微软又开源了一个机器学习框架,这次是核心产品的机器学习引擎infer.NET

https://mp.weixin.qq.com/s/ad8iysdj9JeYxC8TcpoJLg

基于网页的图像标注工具——imglab

https://mp.weixin.qq.com/s/_MRPiqt_cR96KQ2lfJVdoA

xlearn:大规模稀疏数据的机器学习库

https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650750181&idx=2&sn=227bdb9e5166f0b44b478b41a77bbcd5

一个基于PyTorch的目标检测工具箱,商汤联合港中文开源mmdetection

https://mp.weixin.qq.com/s/jKIo1SnrbLyPpFhgX–7mg

谷歌推出“流体标注”AI辅助工具,图像标注速度提升3倍!

https://mp.weixin.qq.com/s/qT8EhRuVn83OFpy94Ywqiw

HiddenLayer:可视化PyTorch、TensorFlow神经网络图的轻量级工具!

https://mp.weixin.qq.com/s/CRuBdhZwTk79z46sZsHmIQ

IBM、哈佛共同研发:Seq2Seq模型可视化工具

https://mp.weixin.qq.com/s/VC8PoYGnrXcktP7RT10LGQ

Facebook开源NLP建模框架PyText,从论文到产品部署只需数天

https://mp.weixin.qq.com/s/BCuMYOOC-lu-cMn71vakkQ

拯救万千学子于水深火热之中!Facebook开源无梯度优化工具

https://mp.weixin.qq.com/s/1xjxHMNaTM9sJVqss9Plwg

超级好用的视频标注工具

https://mp.weixin.qq.com/s/Gg5wIyMl5XqG7ju4DPJ5fg

简单易用NLP框架Flair发布新版本

https://aifiddle.io/

网页版深度学习模型编辑器,搭建运行样样都行,还能3D可视化

https://mp.weixin.qq.com/s/8rvpdh8mTclYQ_RjwG5-Nw

阿里开源大规模分布式图学习框架:专为Graph嵌入,无缝对接TF/PyTorch

https://mp.weixin.qq.com/s/FRgUbvE8xzxrMZ_AtCheMQ

南京航空航天大学开源ALiPy:用于主动学习的Python工具包

https://mp.weixin.qq.com/s/pVrLcSk02_IJo65YO0kCow

Python推荐系统框架:RecQ

https://mp.weixin.qq.com/s/NJujC9QQtNF27IonW5lI6Q

Facebook开源增强版LASER库,包含93种语言工具包

https://mp.weixin.qq.com/s/QNk3vf8WWqSPNN-61W64zQ

谷歌重磅开源NLP通用框架Lingvo

https://mp.weixin.qq.com/s/V8VoyMqVvjblH358ozcWEg

face.evoLVe:高性能人脸识别开源库

https://mp.weixin.qq.com/s/TRfXVO9-DYHCqP49nPWMtw

OpenAI重磅发布Nueral MMO:一个CPU支撑大量智能体同时在线

https://mp.weixin.qq.com/s/s5o9LG7eZ-iTf89-DTANcA

模型转代码:XGBoost等模型也能快速转纯C或Java代码

https://mp.weixin.qq.com/s/fwgKilh9Q7Wseano3lOG0g

谷歌提出机器对话Self-Play框架M2M,提高自动化程度

https://mp.weixin.qq.com/s/DtxjX9RfRgehxLsJ7MFoNw

谷歌大脑开源TensorFuzz,自动Debug神经网络!

https://mp.weixin.qq.com/s/Ec4ObV83Nhp39kpOHVoPNQ

放弃手工标记数据,斯坦福大学开发弱监督编程范式Snorkel

https://mp.weixin.qq.com/s/W1J257ldk-aq5MGR62Gk2g

这个图像超分辨率项目帮你“拍”出高清照片

https://mp.weixin.qq.com/s/XdvkgjAgIVDCWapHMnyoqw

现代大数据算法工具包-HyperLearn介绍(附53页算法讲解全文下载)

https://mp.weixin.qq.com/s/wZQ57V0d0O_JylOcqAvfzQ

Deepy———基于Numpy深度学习库,小巧优雅简单

Fork me on GitHub