并行 & 框架 & 优化（六）——参考资源
2024-04-09并行 & 框架 & 优化
https://mp.weixin.qq.com/s/RAjusu-Jyqb8K19N8KZ_3w
一份552页《大规模数据系统：Large-scale Data Systems》硬核课程PPT
https://mp.weixin.qq.com/s/AeCQK2hFy60pq6y1tRcs_A
20页pdf，A Survey on Large-scale Machine
https://mp.weixin.qq.com/s/_1Yr_BbFhlNEW7UtYvAaoA
分布式深度学习，93页ppt概述最新DDL技术发展
https://mp.weixin.qq.com/s/jC5v9BKQvlxa2_6cikXV9w
分布式算法与优化，118页pdf
https://zhuanlan.zhihu.com/p/58806183
深度学习的分布和并行处理系统
https://zhuanlan.zhihu.com/p/56991108
一文说清楚Tensorflow分布式训练必备知识
https://zhuanlan.zhihu.com/p/26552293
Dataflow架构和神经网络加速器
https://zhuanlan.zhihu.com/p/28445511
浅析深度学习框架设计中的关键技术
https://mp.weixin.qq.com/s/wu32LBwrkkBIANMdknHlCA
C++并行实战，592页pdf，C++ Concurrency in Action
https://zhuanlan.zhihu.com/p/79385727
有限元并行计算简介
https://mp.weixin.qq.com/s/heVQ9AIZKxTiCNiAtYKaag
新加坡国立大学最新“大规模深度学习优化”综述论文，带你全面了解最新深度学习准确率和效率的优化方法
https://mp.weixin.qq.com/s/B4aQp_0YvS0jyUHNLQ5rRA
IBM发布新型分布式深度学习系统：结合软硬件实现当前最优性能
http://engineering.skymind.io/distributed-deep-learning-part-1-an-introduction-to-distributed-training-of-neural-networks
神经网络的分布式训练
https://mp.weixin.qq.com/s/nvuflLfOolidDDXJVe2DZA
美团深度学习系统的工程实践
https://mp.weixin.qq.com/s/IE6blClvhYlq3-QAGHo5ww
TensorFlow分布式计算机制解读：以数据并行为重
https://mp.weixin.qq.com/s/4Ii3um3jqfm5yKKxZAFdmA
继1小时训练ImageNet之后，大批量训练扩展到了3万2千个样本
https://mp.weixin.qq.com/s/kOCftzSbHe2mvDmlRp-ihA
Jeff Dean：AI对计算机系统设计的影响
https://mp.weixin.qq.com/s/XjNPaL6PC9LHX1PEGn5UZg
微软实时AI系统“脑波计划”有多牛？看完秒懂！
https://mp.weixin.qq.com/s/OkqUulFYHQSdgAbf9Fi9LA
CoCoA：大规模机器学习的分布式优化通用框架
https://mp.weixin.qq.com/s/ToIDncp9dS_qk47PsdZm5A
杜克大学：分布式深度学习训练算法TernGrad
https://mp.weixin.qq.com/s/rhtrN2qDspGkpJYDAVSX7w
UC Berkeley展示全新并行处理方法
https://mp.weixin.qq.com/s/ASqpPSIgW_bcFPBfRYz7Xg
哈佛大学提出在云、边缘与终端设备上的分布式深度神经网络DDNN
http://blog.sina.com.cn/s/blog_81f72ca70101kuk9.html
《Large Scale Distributed Deep Networks》中译文
https://mp.weixin.qq.com/s/X7XG51yohLnEZ_Jg6XK9oQ
Caffe作者贾扬清教你怎样打造更加优秀的深度学习架构
https://zhuanlan.zhihu.com/p/529388795
训练千亿参数大模型，离不开四种GPU并行策略
https://mp.weixin.qq.com/s/_mrYI7McMBUx0lEh4rNiYQ
百度开源移动端深度学习框架MDL，手机部署CNN支持iOS GPU
https://mp.weixin.qq.com/s/ZCNSq5FC2REoVTKAK2mJQg
分布式深度学习原理、算法详细介绍
https://mp.weixin.qq.com/s/Ewiil56vMkzhO2xDWgo-Wg
苹果发布Turi Create机器学习框架，5行代码开发图像识别
https://mp.weixin.qq.com/s/jOVUPhrCBI9W9vPvD9eKYg
UC Berkeley提出新型分布式框架Ray：实时动态学习的开端
https://mp.weixin.qq.com/s/r951Iasr4dke6MPHsUO0TA
开源DAWN，Stanford的又一力作
https://mp.weixin.qq.com/s/2jrMDeMcb47zpPfFLEcnIA
深度学习平台技术演进
https://mp.weixin.qq.com/s/L4CMKS53pNyvhhqvQhja0g
5种商业AI产品的技术架构设计
https://mp.weixin.qq.com/s/IqjKdAlGYREqCR9XQB5N1A
伯克利AI分布式框架Ray，兼容TensorFlow、PyTorch与MXNet
https://mp.weixin.qq.com/s/aNX_8UDYI_0u-MwMTYeqdQ
开发易、通用难，深度学习框架何时才能飞入寻常百姓家？
https://mp.weixin.qq.com/s/UbAHB-uEIvqYZCB7xIAJTg
机器学习新框架Propel：使用JavaScript做可微分编程
https://mp.weixin.qq.com/s/Ctl65r4iZNEOBxiiX2I2eQ
Momenta王晋玮：让深度学习更高效运行的两个视角
https://zhuanlan.zhihu.com/p/371499074
OneFlow——让每一位算法工程师都有能力训练GPT
https://mp.weixin.qq.com/s/LjdHBEyQhJq3ptMj8XVT-w
TensorFlow在推荐系统中的分布式训练优化实践
https://mp.weixin.qq.com/s/rEHhf32L09KXGJ9bbB2LEA
TensorFlow在美团外卖推荐场景的GPU训练优化实践
https://zhuanlan.zhihu.com/p/522759214
手把手推导分布式矩阵乘的最优并行策略
https://mp.weixin.qq.com/s/_o7fzCOeuZE6qFc5gHb26g
美团视觉GPU推理服务部署架构优化实践
https://mp.weixin.qq.com/s/UxN9ZRmKLN30s7uPqMpHPQ
Jeff Dean等提出动态控制流编程模型，大规模机器学习性能提升21%
https://mp.weixin.qq.com/s/fx0Pfu0MOPjSkzi5mL6U_A
清华&斯坦福提出深度梯度压缩DGC，大幅降低分布式训练网络带宽需求
https://mp.weixin.qq.com/s/wIdTDHEPffWqHA3_XWBLyw
没错，纯SQL查询语句可以实现神经网络。
SQL跑神经网络固然没有太大意义，然而分布式数据库已经有数十年的历史，对于设计分布式深度学习框架亦有重大的启发意义。
https://mp.weixin.qq.com/s/F10UaaoxGPOE4pc59LBCRw
数据并行化对神经网络训练有何影响？谷歌大脑进行了实证研究
https://mp.weixin.qq.com/s/UF7DDenUQJ3bL83IHxOkIw
分布式优化算法及其在多智能体系统与机器学习中的应用
https://mp.weixin.qq.com/s/6h9MeBs89hTtWsYSZ4pZ5g
蚂蚁金服核心技术：百亿特征实时推荐算法揭秘
https://mp.weixin.qq.com/s/xV5cLbCPb7Nh6i4i7DxJIQ
没人告诉你的大规模部署AI高效流程！
https://mp.weixin.qq.com/s/8R7YhcZ_Dt0oFIF3bQovxw
为了提升DL模型性能，阿里工程师打造了流式编程框架
https://mp.weixin.qq.com/s/z6gXp-EeDID1ed8_DsUbOg
90秒训练AlexNet！商汤刷新纪录
https://mp.weixin.qq.com/s/HQW2bPyDY_3ecZWP6NYr-w
大规模机器学习在LinkedIn预测模型中的应用实践
https://mp.weixin.qq.com/s/i1PLA1xr3CefKx1EcVUVIg
谷歌破世界纪录！圆周率计算到小数点后31.4万亿位
https://mp.weixin.qq.com/s/rX8L63-jDGJT6lCAj04I3Q
独家解读！阿里重磅发布机器学习平台PAI 3.0
https://mp.weixin.qq.com/s/Ye2GVTFIrX3SbU1-4cDLoQ
你天天叫的外卖，你知道这里面深度学习的水有多深吗
https://mp.weixin.qq.com/s/FIWfbCLgckVzeNvfThIl4Q
阿里线下智能方案进化史
https://mp.weixin.qq.com/s/pqxiF6yEZzrw8qXu2hEsaA
单机训练速度提升640倍！独家解读快手商业广告模型GPU训练平台Persia
https://mp.weixin.qq.com/s/Jcz4XWDjMmbhmAiI_zBQXQ
流式计算优化：时效性
https://zhuanlan.zhihu.com/p/33351291
基于忆阻器（ReRAM），Computing-in-Memory的DLA
https://mp.weixin.qq.com/s/UbZtUL6Iveb4S3nTU0liGw
深度神经网络的分布式训练概述：常用方法和技巧全面总结
https://mp.weixin.qq.com/s/kLXJsHbBnRIFC3NLChPhzA
如何高效进行大规模分类？港中文联合商汤提出新方法
https://www.zhihu.com/question/454589636
为什么模型和数据都在gpu上，却打不满GPU的使用率？
