Antkillerfarm Hacking V8.5

DRL » 深度强化学习(十一)——DRL和Robotics

2024-06-24 :: 5516 Words

DRL和Robotics

虽然,DRL似乎生来就是为了Robotics,然而现实中的无人系统,目前基本还是使用传统的控制方法。

例如:

https://www.zhihu.com/question/50050401

如何看待百度无人车, 三千多个场景,一万多个if?

不止国内,就连业界标杆Boston Dynamics也是这样:

https://www.zhihu.com/question/29871410

波士顿动力Boston Dynamics的大狗Big Dog用的了哪些控制、估计等算法?

直到最近才终于有了改观:

https://mp.weixin.qq.com/s/xSODAGf3QcJ3A9oq6xP11A

真的超越了波士顿动力!深度强化学习打造的ANYmal登上Science子刊

此外,还有一些论文:

《Learning to Drive in a Day》


Boston Dynamics算是人形机器人的标杆企业了。它采用了液压驱动的路线。

相比于电机驱动,液压驱动功率更大,可以把作为动力的电机全塞到躯干里去,环境适应性更好,缺点是非线性系统,控制比较复杂,柔性液压传动的零件太多,而且还是软材质的,可靠性始终上不去,维护成本还贵。

这些年电机的进步速度比柔性液压的进步速度快多了,关键问题在于现代工业用电机的地方太多了,累积的成果也多,相比之下,柔性液压的应用场景大大少于电机。

现在关节电机的进步速度很开,加上某些对力量要求毕竟大的位置,可以单独用硬质拉杆,所以电机直接驱动很快就超越了柔性液压传动。

等波士顿反应过来,放弃液压,改用电机的时候,已经比别人落后了。

参考:

https://mp.weixin.qq.com/s/BNanIQKY9SSNpms0qSTOBA

硬核干货!揭秘波士顿动力背后的专利技术

https://www.zhihu.com/question/437149222

波士顿动力12月29日发布了机器人跳舞的视频,在这个领域我们现在差距有多大?

https://www.zhihu.com/question/347701202

波士顿动力旋转跳跃360°视频火了,那么它的背后是通过什么算法实现的呢?


至少在2022年之前,波士顿动力在足式机器人的全身运动控制水平上都是一骑绝尘的。他们的技术护城河是一套能够实时解算whole-body MPC的控制框架。搞过轨迹优化的朋友们都知道,求解一个包含20+自由度机器人全身动力学的非线性非凸轨迹优化问题有很多种方法,但是要在几十毫秒内得到一个质量不错的解并且能让机器人动起来就是另外一个次元的问题了。

2020年,苏黎世联邦理工(ETH)的Robotic Systems Lab(RSL)整了个大活。在强化学习这条道路上直接起飞,发Science Robotics如同喝水。他们在仿真和GPU并行训练方面的工作直接催生了Isaac全家桶的诞生,他们开源的rsl_rl框架现在已经成为了这个地球上几乎所有人形机器人公司训练控制器的基础。后续RSL+NVIDIA的持续发力也是直接把足式机器人的locomotion问题差不多完全解决了。MPC这块香饽饽突然就不香了。

https://www.zhihu.com/answer/2010639799954997547

为什么吹的神乎其神的波士顿动力机器人销声匿迹了?


强化学习和模仿学习,本质都是在任务层面的(Task-level Control),而传统的机器人控制都是在动作级(Action-level)和伺服级(Servo-level)。

https://www.zhihu.com/question/504142198

现有的控制器已经能完成对于机械臂的控制了,将深度强化学习应用到机械臂的控制上还有什么实际意义吗?


参考:

https://zhuanlan.zhihu.com/p/59197798

那些个端到端的自动驾驶研发系统

https://mp.weixin.qq.com/s/yU-6r-7l50y5msw8gUWnUQ

美团技术部解析:无人车端到端驾驶模型概述

Model Predictive Control

MPC(Model Predictive Control)+WBC (Whole-Body Control)是典型的做腿足类机器人用的算法。

机械臂+灵巧手+移动小车,一般被称为AMR(Autonomous Mobile Robot)。

教程:

http://cse.lab.imtlucca.it/~bemporad/mpc_course.html

Model Predictive Control

https://www.syscop.de/teaching/ss2021/model-predictive-control-and-reinforcement-learning

Model Predictive Control and Reinforcement Learning

http://web.mit.edu/dimitrib/www/LessonsfromAlphazero.pdf

Lessons from AlphaZero for Optimal, Model Predictive, and Adaptive Control

参考:

https://mp.weixin.qq.com/s/pMnbVWDDVgIdFpzkfSUd5Q

时延MPC自主车辆协同控制算法与仿真

https://mp.weixin.qq.com/s/UAPbNq_KNWCFd7p8U8HnYQ

模型预测控制(MPC)

https://zhuanlan.zhihu.com/p/99409532

模型预测控制简介(model predictive control)

https://zhuanlan.zhihu.com/p/507623074

Model Based + MPC + Planning + RL相关

https://mp.weixin.qq.com/s/BFNaEBa8KwvRBK_mSunXjw

MPC与LQR比较

https://www.zhihu.com/question/424186342

模型预测控制(MPC)和基于模型的强化学习(Model-based RL)之间的联系是什么?

DRL参考资源

https://mp.weixin.qq.com/s/ruAAQEjPIDPWPiuPepKU6Q

Deep Reinforcement Learning: An Overview

https://mp.weixin.qq.com/s/FjmlXqlpaRVLdAbjqspOJA

这是一份你必须学习的强化学习算法清单

https://mp.weixin.qq.com/s/GISY-FvV1Vml3CNLInjgYg

Tensorflow2.0实现29种深度强化学习算法大汇总

https://mp.weixin.qq.com/s/lfXQqllfFPtuNIrQZiD-NQ

深度强化学习十大原则

https://mp.weixin.qq.com/s/I8IwPCY6-zocJKFXMr6rUg

深度强化学习的18个关键问题

https://mp.weixin.qq.com/s/_lmz0l1vP_CQ6p6DdFnHWA

谷歌大脑工程师的深度强化学习劝退文

https://zhuanlan.zhihu.com/p/39999667

强化学习路在何方?

https://zhuanlan.zhihu.com/p/25239682

深度强化学习(Deep Reinforcement Learning)入门

https://mp.weixin.qq.com/s/Ns5AUGfDoTeTwnBD-pYdLA

详解强化学习当前进展及未来方向

https://mp.weixin.qq.com/s/VIMX63zBaZ5ji70UmHHajg

强化学习入门知识超全梳理

https://mp.weixin.qq.com/s/e6QOz-MQSn7n53EPtpw64w

DeepMind强化学习综述:她可以很快,但快从慢中来

https://zhuanlan.zhihu.com/p/72642285

基于模型的强化学习论文合集

https://zhuanlan.zhihu.com/p/77976582

强化学习并行训练论文合集

https://mp.weixin.qq.com/s/sHP03DAeZvdBxwVPuSNRPg

如何丝滑地入门神经网络?写个AI赛车游戏,只训练4代就能安全驾驶

https://mp.weixin.qq.com/s/1SZKhG1ZbD1pl-3YQD_umg

6行代码搞定基本的RL算法,速度围观Reddit高赞帖

https://mp.weixin.qq.com/s/6n5HawyR4AgH8Dq0gJMw2g

强化学习的基本概念与代码实现

https://mp.weixin.qq.com/s/AI3i3ZLZ-fynavbeNAMKgA

强化学习应用介绍,41页报告带你快速了解RL的最新应用价值

https://mp.weixin.qq.com/s/-Cd7rQY3c3CINjtB99UZWw

自动驾驶领域中的强化学习,附18页论文下载

https://mp.weixin.qq.com/s/UBWN4_Sem8W1WcjsLAnjjQ

强化学习,路在何方?

https://book.yunzhan365.com/iths/nahn/mobile/index.html

强化学习和最优控制的《十个关键点》81页PPT汇总

https://zhuanlan.zhihu.com/p/107143378

Learning SR for Text Classification via RL

https://mp.weixin.qq.com/s/6c8imZFRAoxgs18rk_tlEw

炼丹感悟:On the Generalization of RL

https://mp.weixin.qq.com/s/PpBMu-5ozc9UOBbFhjsf3A

漫谈强化学习中的引导搜索策略(GPS方法)

https://mp.weixin.qq.com/s/TUk1PWT9CfPGEW77UKxpjw

三招武林绝学带你玩转“强化学习”

https://mp.weixin.qq.com/s/Uin1gOmJEa6cvkiFJm6cHw

你当年没玩好的《愤怒的小鸟》,AI现在也犯难了

https://mp.weixin.qq.com/s/YY1FIMjDIMABdwRC5x9w4g

17种深度强化学习算法用Pytorch实现

https://mp.weixin.qq.com/s/lxnyoo46tS7-MXAB7HNouA

人工智能在电网管理中的应用

https://mp.weixin.qq.com/s/ZYIfzk1kZ4azpmxWagkQuw

强化学习如何用于模型量化?

https://mp.weixin.qq.com/s/w4m4fG-a30AgulNPhBVC5w

基于强化学习的自动交易系统研究与发展综述

https://mp.weixin.qq.com/s/oyWyb58l4ztqIEyrk0g01A

强化学习在美团“猜你喜欢”的实践

https://mp.weixin.qq.com/s/oA98YyLqn1B22QZ5b_iDVA

IJCAI 2018:聚焦强化学习的学习效率

https://mp.weixin.qq.com/s/FtHJCXniVne2TGKfgCeS9w

Pieter Abbeel:深度强化学习加速方法

https://mp.weixin.qq.com/s/xlnwB9e1ks-4M4djnyIAyQ

解读72篇DeepMind深度强化学习论文

https://mp.weixin.qq.com/s/VYIyWRykREjOyLu4YDhLeA

61篇NIPS2019深度强化学习论文及部分解读

https://zhuanlan.zhihu.com/p/48186354

robot浅谈

https://mp.weixin.qq.com/s/f-rmdWq3kJUJGhuPwU8JtQ

深度策略梯度算法是真正的策略梯度算法吗?

https://mp.weixin.qq.com/s/SiVUmjHyw8ztiaSWNSZ-qA

多任务深度强化学习综述

https://zhuanlan.zhihu.com/p/51202503

强化学习在视觉上的应用(RL for computer Vision)

https://mp.weixin.qq.com/s/Dq4HsRg05bVMjvrsrxfOOQ

从这篇YouTube论文,剖析强化学习在工业级场景推荐系统中的应用

https://mp.weixin.qq.com/s/cyaQt-SO7sgG49kuUyPJbQ

旷视开源的深度强化学习绘画智能体论文解读

https://mp.weixin.qq.com/s/curzH8WrFyl5WWT4lDfpwQ

Chrome暗藏的恐龙跳一跳,已经被AI轻松掌握了

https://www.cnblogs.com/massquantity/p/13842139.html

Flink+强化学习搭建实时推荐系统

Fork me on GitHub