请选择 进入手机版 | 继续访问电脑版

 

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 45|回复: 0

OpenAI雄心勃勃的机器人计划失败了:强化学习没法用?

[复制链接]
avatar

3

主题

19

帖子

6

积分

注册会员

Rank: 2

积分
6
在线会员 发表于 7 天前 | 显示全部楼层 |阅读模式
呆板之心报道呆板之心编辑部
不是谁都能像波士顿动力一样能不绝找到下家。

OpenAI雄心勃勃的机器人计划失败了:强化学习没法用?


曾经练习出单手解魔方呆板人的 OpenAI,眼下已经遣散了呆板人团队。这家执着于实现通用人工智能(AGI)的公司现在放弃了呆板人研究,来由是「数据不敷丰富」。
近期,OpenAI 公司团结首创人 Wojciech Zaremba 在一档播客节目中透露了这个消息。当主持人问到「你们为什么选择了呆板人范畴」的时间,Wojciech Zaremba 却表现,OpenAI 已将重点转移到其他范畴,由于在那些范畴中数据更容易得到。
OpenAI雄心勃勃的机器人计划失败了:强化学习没法用?


视频地点:https://youtu.be/429QC4Yl-mA
Wojciech Zaremba:我们曾在呆板人技能上研究了几年,直到迩来我们改变了 OpenAI 的关注点,实际上,我遣散了呆板人团队。
主持人:你为什么如许做?
Wojciech Zaremba:毕竟证明,只要可以大概访问数据,以及借助呆板学习、无监督和强化学习,我们就可以取得巨大的进步…… 实际上有很多范畴的数据非常丰富。而数据标题拦阻了我们在呆板人技能方面的发展。


「遣散呆板人团队这个决定对我来说很难,但前段时间我意识到,从公司的角度来看,实际上如许是最好的」,Wojciech Zaremba 说道。
一份 OpenAI 方面发送给 VentureBeat 的声明表现:「在通过我们的魔方呆板人项目和其他项目推进强化学习的最新技能之后,客岁 10 月,我们决定不再继续进一步的呆板人研究,而是将团队气力整合到其他项目中。由于人工智能及其本领的快速进步,我们发现其他方法,比方根据人类反馈举行强化学习,可以使我们的研究取得更快的盼望。」
2019 年,OpenAI 展示了单手解魔方呆板人的研究效果,一度引发科技圈的讨论高潮。单手玩魔方,对于一样平凡人类来说都很困难,而那台 13000 年履历练习出来的五指机器手,还原魔方的几率到达了 20-60%,纵然受到戴橡胶手套、绑住食指和中指、蒙上一块布等干扰,也不会影响其工作服从。
OpenAI雄心勃勃的机器人计划失败了:强化学习没法用?


这是 OpenAI 此前两年多工作的研究效果。2017 年 5 月,OpenAI 发布了 Roboschool,这是一个用于在模拟情况中控制呆板人的开源软件。同年,该公司表现已经创建了一个完全在模拟中练习并摆设在一个物理呆板人上的体系,只必要完成一次学习就能学会新使命。2018 年,OpenAI 提供了模拟呆板情面况和 Hindsight Experience Replay 的 baseline 实现,这是一种可以从失败中学习的强化学习算法。
假如我们是一家呆板人公司,大概公司的使命与现在有所差别,我以为我们会继续下去。毕竟上,我非常信赖呆板人所接纳的方法和方向,但是从我们想要实现的目的——也就是构建 AGI 来看,现在尚有所短缺。当创造呆板人时,我们以为可以依附自主天生数据和强化学习走得很远。


这让人们想起了昨天 AI 圈内讨论的一个话题:
OpenAI雄心勃勃的机器人计划失败了:强化学习没法用?

图源:https://www.zhihu.com/question/449478247/answer/2001407526

固然,在答复的更新部门中,俞扬表现:说没法用只是吐个槽,要想发论文,就只能沿着所谓的 SOTA 来改进,纵然是看起来没有盼望的方向。俞扬进一步说道:
很多多少留言分析了「没法用」反映出各人的心声。实际上强化学习这个古老的研究范畴 2016 前在国内不绝比力冷的根源就是没法用。研究范畴各人也都清晰强化学习算法样本使用率低,然后做出了很多改进,但是要改进到什么程度才气有效呢,着实根据我们的履历有一个尺度:
零试错:一次试错不能有,上线即能发挥效果,还要显着优于基线。
offline RL 是个准确的方向,但是现在的主流研究也有很多显着的弯路,大概发论文与做落地自己就是差别的事,各人的关心点不大概完全同等吧。
别的就是我们的落地越来越多,不再想着去说服别人 RL 可以用了。


对 AGI 的执着
不绝以来,OpenAI 都以为巨大的算力是通向 AGI 或让 AI 学习任何人类学习使命之路的须要步调。固然 Yoshua Bengio、Yann LeCun 等大佬都以为 AGI 不大概存在,但 OpenAI 的团结首创人及其观点支持者始终信赖强大的盘算机与强化学习、预练习和其他技能相团结,可让 AI 实现超过式进步,这几位团结首创人包罗 Greg Brockman、首席科学家 Ilya Sutskever、Elon Musk、Reid Hoffman 和 Y Combinator 前总裁 Sam Altman。
这条门路上的代表效果就是 DALL-E,这是一个 120 亿参数的文本 - 图像引擎,本质上是一个视觉创意天生器,称为「图像版 GPT-3」。DALL-E 可以大概团结差别的想法来合成物体,此中一些物体在实际天下中不太大概存在——比如蜗牛和竖琴的肴杂体。
OpenAI雄心勃勃的机器人计划失败了:强化学习没法用?

输入「牛油果外形的椅子」,就可以得到绿油油、形态各异的牛油果椅子图像。
Brockman 和 Altman 非常信赖 AGI 将可以大概把握比任何人都多的范畴知识,特殊是辨认人类专家无法把握的复杂的、跨学科的接洽。别的他们猜测,社会科学等相干范畴的研究者假如与摆设的 AGI「密切互助」,有助于办理天气厘革、医疗保健和教诲方面的恒久寻衅。
Zaremba 断言,预练习是创建大型复杂 AI 体系的一种特殊强大的技能。预练习有助于模子学习可在目的使命上重用的通用特性,以进步其准确性。GitHub 迩来推出了代码天生工具 Copilot,在 OpenAI 开发其支持模子 Codex 的过程中,预练习起到了告急作用。GitHub Copilot 提供代码发起的服务实用于 Microsoft Visual Studio 等开发情况中的整行代码。Codex 是 OpenAI GPT-3 的微调版本。
OpenAI雄心勃勃的机器人计划失败了:强化学习没法用?


一连几条推特,Zaremba 都在为 Copilot 宣传:「假如个人电脑是工程师心中的自行车,那么 Copilot 就是主动驾驶的特斯拉。」
「我信赖预练习可以大概让模子在提升类似智能本领的情况下,本钱仅用原方法的 1/100。」Zaremba 说道。
说点儿实际的因素
深入思索,OpenAI 放弃呆板人技能大概反映了该公司面临的经济实际。随着研发本钱的增长, DeepMind 比年来也履历了类似的厘革 ,从有声望的项目转向贸易应用——比方卵白质布局猜测。
众所周知,呆板人技能是一个本钱高昂的范畴。由于经济缘故原由举行大规模变动的呆板人公司并不是个例:
比如工业呆板人公司 Rethink Robotics 在试图探求收购方失败后数月关门大吉;本田 Asimo 呆板人在 2018 年公布停止开发;就连业内领先的波士顿动力公司比年来也是多次易主,在韩国今世汽车团体以 11 亿美元收购控股权之前,2014 年曾被谷歌以 30 亿美元的代价收购,2017 年又被软银收购。
一年前,微软公布向 OpenAI 投资 10 亿美元共同开发微软 Azure 云平台的新技能。作为交换,OpenAI 同意将其部门知识产权答应给微软,而且在开发下一代盘算硬件时用 Azure 练习和运行 AI 模子。
之后的几个月里,OpenAI 发布了一个 Microsoft Azure 驱动的 API,答应开发职员探索 GPT-3 的功能。GPT-3 现在已被浩繁业内开发者在 300 多个差别的应用步调中使用,均匀每天产生 45 亿个单词。2020 年底,微软公布将独家答应 GPT-3 为客户开发和交付 AI 办理方案,以及创建使用自然语言生本钱领的新产物。迩来,微软又公布 GPT-3 将与 Power Apps「深度」集成。
而 DALL-E、Jukebox 等项目也具有显着的商用代价,OpenAI 猜测 DALL-E 有一天以致可以强大到取代 3D 渲染引擎。
在这些贸易动向的背后,是呆板人贸易化场景落地难的实际近况。在 AI 财产落地面临复杂场景寻衅的本日,对于 OpenAI 来说,放弃本钱高昂且研发效果匮乏的呆板人研究团队,大概是一个久远的明智选择。
参考链接:https://venturebeat.com/2021/07/16/openai-disbands-its-robotics-research-team/
惠普工作站人工智能互助搭档招募

作为新基建告急范畴,人工智能(AI)正渗出到社会生存各个范畴。在万物互联的期间大配景下,互助共赢是行业发展的新趋势。惠普工作站现发起 #互助搭档招募操持 #,诚邀每个深耕人工智能范畴的企业互助,一起探索更多 AI 行业发展新机遇。
作为惠普工作站互助搭档,将有机遇得到惠普免费样机测试支持;与惠普共同打造创新办理方案,团结推广、互助开发商机,助力行业发展,实现共赢;尚有机遇与国内 / 国际人工智能范畴专家交换,得到第一线行业资讯
接待点击「阅读原文」报名,速与我们接洽!
OpenAI雄心勃勃的机器人计划失败了:强化学习没法用?

© THE END
转载请接洽本公众号得到授权
投稿或寻求报道:content@jiqizhixin.com

来源:http://mp.weixin.qq.com/s?src=11&timestamp=1626507004&ver=3195&signature=VRFLVj7QdQs*uROsgiZZLqwsDAWrGxXqv4i7TOjdHjPgG3LLYIe*fgr5XmhEXIhkpI*jr-AT9LLD9AyLMxkgxbcx565O-MCraS-*y*RV-KgNkkzlzeK8NAiWA3vEt5cD&new=1
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|猫先森网络资源站 ( 琼ICP备19003696号-5 )|网站地图

GMT+8, 2021-7-24 19:53 , Processed in 0.116681 second(s), 23 queries .

Powered by 海南猫先森网络有限公司

© 2001-2021 Comsenz Inc. Designed by Mxswl.Net

快速回复 返回顶部 返回列表