虽然,DRL似乎生来就是为了Robotics,然而现实中的无人系统,目前基本还是使用传统的控制方法。
例如:
https://www.zhihu.com/question/50050401
如何看待百度无人车, 三千多个场景,一万多个if?
不止国内,就连业界标杆Boston Dynamics也是这样:
https://www.zhihu.com/question/29871410
波士顿动力Boston Dynamics的大狗Big Dog用的了哪些控制、估计等算法?
直到最近才终于有了改观:
https://mp.weixin.qq.com/s/xSODAGf3QcJ3A9oq6xP11A
真的超越了波士顿动力!深度强化学习打造的ANYmal登上Science子刊
此外,还有一些论文:
《Learning to Drive in a Day》
Boston Dynamics算是人形机器人的标杆企业了。它采用了液压驱动的路线。
相比于电机驱动,液压驱动功率更大,可以把作为动力的电机全塞到躯干里去,环境适应性更好,缺点是非线性系统,控制比较复杂,柔性液压传动的零件太多,而且还是软材质的,可靠性始终上不去,维护成本还贵。
这些年电机的进步速度比柔性液压的进步速度快多了,关键问题在于现代工业用电机的地方太多了,累积的成果也多,相比之下,柔性液压的应用场景大大少于电机。
现在关节电机的进步速度很开,加上某些对力量要求毕竟大的位置,可以单独用硬质拉杆,所以电机直接驱动很快就超越了柔性液压传动。
等波士顿反应过来,放弃液压,改用电机的时候,已经比别人落后了。
参考:
https://mp.weixin.qq.com/s/BNanIQKY9SSNpms0qSTOBA
硬核干货!揭秘波士顿动力背后的专利技术
https://www.zhihu.com/question/437149222
波士顿动力12月29日发布了机器人跳舞的视频,在这个领域我们现在差距有多大?
https://www.zhihu.com/question/347701202
波士顿动力旋转跳跃360°视频火了,那么它的背后是通过什么算法实现的呢?
至少在2022年之前,波士顿动力在足式机器人的全身运动控制水平上都是一骑绝尘的。他们的技术护城河是一套能够实时解算whole-body MPC的控制框架。搞过轨迹优化的朋友们都知道,求解一个包含20+自由度机器人全身动力学的非线性非凸轨迹优化问题有很多种方法,但是要在几十毫秒内得到一个质量不错的解并且能让机器人动起来就是另外一个次元的问题了。
2020年,苏黎世联邦理工(ETH)的Robotic Systems Lab(RSL)整了个大活。在强化学习这条道路上直接起飞,发Science Robotics如同喝水。他们在仿真和GPU并行训练方面的工作直接催生了Isaac全家桶的诞生,他们开源的rsl_rl框架现在已经成为了这个地球上几乎所有人形机器人公司训练控制器的基础。后续RSL+NVIDIA的持续发力也是直接把足式机器人的locomotion问题差不多完全解决了。MPC这块香饽饽突然就不香了。
https://www.zhihu.com/answer/2010639799954997547
为什么吹的神乎其神的波士顿动力机器人销声匿迹了?
强化学习和模仿学习,本质都是在任务层面的(Task-level Control),而传统的机器人控制都是在动作级(Action-level)和伺服级(Servo-level)。
https://www.zhihu.com/question/504142198
现有的控制器已经能完成对于机械臂的控制了,将深度强化学习应用到机械臂的控制上还有什么实际意义吗?
参考:
https://zhuanlan.zhihu.com/p/59197798
那些个端到端的自动驾驶研发系统
https://mp.weixin.qq.com/s/yU-6r-7l50y5msw8gUWnUQ
美团技术部解析:无人车端到端驾驶模型概述
MPC(Model Predictive Control)+WBC (Whole-Body Control)是典型的做腿足类机器人用的算法。
机械臂+灵巧手+移动小车,一般被称为AMR(Autonomous Mobile Robot)。
教程:
http://cse.lab.imtlucca.it/~bemporad/mpc_course.html
Model Predictive Control
https://www.syscop.de/teaching/ss2021/model-predictive-control-and-reinforcement-learning
Model Predictive Control and Reinforcement Learning
http://web.mit.edu/dimitrib/www/LessonsfromAlphazero.pdf
Lessons from AlphaZero for Optimal, Model Predictive, and Adaptive Control
参考:
https://mp.weixin.qq.com/s/pMnbVWDDVgIdFpzkfSUd5Q
时延MPC自主车辆协同控制算法与仿真
https://mp.weixin.qq.com/s/UAPbNq_KNWCFd7p8U8HnYQ
模型预测控制(MPC)
https://zhuanlan.zhihu.com/p/99409532
模型预测控制简介(model predictive control)
https://zhuanlan.zhihu.com/p/507623074
Model Based + MPC + Planning + RL相关
https://mp.weixin.qq.com/s/BFNaEBa8KwvRBK_mSunXjw
MPC与LQR比较
https://www.zhihu.com/question/424186342
模型预测控制(MPC)和基于模型的强化学习(Model-based RL)之间的联系是什么?
https://mp.weixin.qq.com/s/ruAAQEjPIDPWPiuPepKU6Q
Deep Reinforcement Learning: An Overview
https://mp.weixin.qq.com/s/FjmlXqlpaRVLdAbjqspOJA
这是一份你必须学习的强化学习算法清单
https://mp.weixin.qq.com/s/GISY-FvV1Vml3CNLInjgYg
Tensorflow2.0实现29种深度强化学习算法大汇总
https://mp.weixin.qq.com/s/lfXQqllfFPtuNIrQZiD-NQ
深度强化学习十大原则
https://mp.weixin.qq.com/s/I8IwPCY6-zocJKFXMr6rUg
深度强化学习的18个关键问题
https://mp.weixin.qq.com/s/_lmz0l1vP_CQ6p6DdFnHWA
谷歌大脑工程师的深度强化学习劝退文
https://zhuanlan.zhihu.com/p/39999667
强化学习路在何方?
https://zhuanlan.zhihu.com/p/25239682
深度强化学习(Deep Reinforcement Learning)入门
https://mp.weixin.qq.com/s/Ns5AUGfDoTeTwnBD-pYdLA
详解强化学习当前进展及未来方向
https://mp.weixin.qq.com/s/VIMX63zBaZ5ji70UmHHajg
强化学习入门知识超全梳理
https://mp.weixin.qq.com/s/e6QOz-MQSn7n53EPtpw64w
DeepMind强化学习综述:她可以很快,但快从慢中来
https://zhuanlan.zhihu.com/p/72642285
基于模型的强化学习论文合集
https://zhuanlan.zhihu.com/p/77976582
强化学习并行训练论文合集
https://mp.weixin.qq.com/s/sHP03DAeZvdBxwVPuSNRPg
如何丝滑地入门神经网络?写个AI赛车游戏,只训练4代就能安全驾驶
https://mp.weixin.qq.com/s/1SZKhG1ZbD1pl-3YQD_umg
6行代码搞定基本的RL算法,速度围观Reddit高赞帖
https://mp.weixin.qq.com/s/6n5HawyR4AgH8Dq0gJMw2g
强化学习的基本概念与代码实现
https://mp.weixin.qq.com/s/AI3i3ZLZ-fynavbeNAMKgA
强化学习应用介绍,41页报告带你快速了解RL的最新应用价值
https://mp.weixin.qq.com/s/-Cd7rQY3c3CINjtB99UZWw
自动驾驶领域中的强化学习,附18页论文下载
https://mp.weixin.qq.com/s/UBWN4_Sem8W1WcjsLAnjjQ
强化学习,路在何方?
https://book.yunzhan365.com/iths/nahn/mobile/index.html
强化学习和最优控制的《十个关键点》81页PPT汇总
https://zhuanlan.zhihu.com/p/107143378
Learning SR for Text Classification via RL
https://mp.weixin.qq.com/s/6c8imZFRAoxgs18rk_tlEw
炼丹感悟:On the Generalization of RL
https://mp.weixin.qq.com/s/PpBMu-5ozc9UOBbFhjsf3A
漫谈强化学习中的引导搜索策略(GPS方法)
https://mp.weixin.qq.com/s/TUk1PWT9CfPGEW77UKxpjw
三招武林绝学带你玩转“强化学习”
https://mp.weixin.qq.com/s/Uin1gOmJEa6cvkiFJm6cHw
你当年没玩好的《愤怒的小鸟》,AI现在也犯难了
https://mp.weixin.qq.com/s/YY1FIMjDIMABdwRC5x9w4g
17种深度强化学习算法用Pytorch实现
https://mp.weixin.qq.com/s/lxnyoo46tS7-MXAB7HNouA
人工智能在电网管理中的应用
https://mp.weixin.qq.com/s/ZYIfzk1kZ4azpmxWagkQuw
强化学习如何用于模型量化?
https://mp.weixin.qq.com/s/w4m4fG-a30AgulNPhBVC5w
基于强化学习的自动交易系统研究与发展综述
https://mp.weixin.qq.com/s/oyWyb58l4ztqIEyrk0g01A
强化学习在美团“猜你喜欢”的实践
https://mp.weixin.qq.com/s/oA98YyLqn1B22QZ5b_iDVA
IJCAI 2018:聚焦强化学习的学习效率
https://mp.weixin.qq.com/s/FtHJCXniVne2TGKfgCeS9w
Pieter Abbeel:深度强化学习加速方法
https://mp.weixin.qq.com/s/xlnwB9e1ks-4M4djnyIAyQ
解读72篇DeepMind深度强化学习论文
https://mp.weixin.qq.com/s/VYIyWRykREjOyLu4YDhLeA
61篇NIPS2019深度强化学习论文及部分解读
https://zhuanlan.zhihu.com/p/48186354
robot浅谈
https://mp.weixin.qq.com/s/f-rmdWq3kJUJGhuPwU8JtQ
深度策略梯度算法是真正的策略梯度算法吗?
https://mp.weixin.qq.com/s/SiVUmjHyw8ztiaSWNSZ-qA
多任务深度强化学习综述
https://zhuanlan.zhihu.com/p/51202503
强化学习在视觉上的应用(RL for computer Vision)
https://mp.weixin.qq.com/s/Dq4HsRg05bVMjvrsrxfOOQ
从这篇YouTube论文,剖析强化学习在工业级场景推荐系统中的应用
https://mp.weixin.qq.com/s/cyaQt-SO7sgG49kuUyPJbQ
旷视开源的深度强化学习绘画智能体论文解读
https://mp.weixin.qq.com/s/curzH8WrFyl5WWT4lDfpwQ
Chrome暗藏的恐龙跳一跳,已经被AI轻松掌握了
https://www.cnblogs.com/massquantity/p/13842139.html
Flink+强化学习搭建实时推荐系统

您的打赏,是对我的鼓励