观点

李开复、张亚勤:中国大模型在C端机会更多,技术不会带来永久领先

零一万物CEO李开复和清华大学智能产业研究院院长、智源学术顾问委员张亚勤在2024年智源大会上就“通用人工智能的关键问题”展开讨论,分享了各自对于大模型在产业中的应用场景及AGI的未来的看法。

6月14日,零一万物CEO李开复和清华大学智能产业研究院院长、智源学术顾问委员张亚勤在2024年智源大会上就“通用人工智能的关键问题”展开讨论,分享了各自对于大模型在产业中的应用场景及AGI的未来的看法。

以下为本次对谈的要点:

① 李开复和张亚勤都认为大模型是AI领域当前最重要的革命,其中最关键的是规模效应和数据的高效压缩。尽管大模型在智慧上取得了显著进步,但仍面临效率低下、对物理世界理解不足以及边界问题等挑战。

② 李开复强调,科学理论和工程实践对于AI发展都是必不可少的。零一万物内部坚持打通科学和工程,只有理解了科学原理,才能有效评估和优化模型。同时,工程实践能够确保科研成果转化为实际可用成本可控的产品。

③ 李开复分析了ToC和ToB市场在AI时代的应用场景,认为中国ToC市场短期内有更多机会,而国外两者都有机会。他还提出了TCPMF(技术、成本、产品、市场契合度)的概念,强调在开发应用时需要综合考虑这些因素。

④ 张亚勤认为无人驾驶L4+是具身智能的最大应用,并且可能会是第一个实现新图灵测试的领域。大模型的发展为无人驾驶提供了数据生成和端到端学习的帮助,预计在未来几年内会有显著进步。

⑤ 两位专家对AGI的实现整体持乐观态度,他们认为AGI的定义因人而异,但关键在于AI的能力要超越人类,并具有自我学习和进化的能力。同时随着AI能力的提升,失控的风险也在增加,需要现在就开始考虑如何管理这些风险。

以下是腾讯科技整理的演讲全文实录:

黄铁军:近年来,围绕大模型的讨论非常火热,大模型是目前人工智能领域最成功的案例,那么请问两位老师,大模型到底做对了什么,还有哪些欠缺的地方?

李开复:大模型肯定是AI有史以来最大的革命,我认为里面最重要的就是scaling law,我们能够用更多的计算和数据不断的增加智慧,变强,这一点已经被验证,而且还未到达顶峰。

第二点,大模型本身的智慧来自于接近无损的压缩。这一点我觉得也是非常的重要,这点可能不是当年我们很多做人工智能的想到会把压缩和智能能够连接在一起。因为我们scaling law的过程中不能就盲目的去丢更多的GPU,所以我们会需要有一个方法来去评估我们有没有越做越好,两个方法哪个做得更好,所以在我们零一万物的内部,我们其实是有一个数学严谨的方法论,是用压缩的理念去评估,这样就让我们从一个做实验,或者甚至有人说炼丹的过程中,把它变得有科学和数学的根据了。

那么,我觉得大模型可能面临的一些挑战就是仅仅去用更多的算力来把它往前推动,这个如果是主要的方向的话,那么我觉得如果未来会继续看到它的快速上升,这样的话就会导致只有那些特别有GPU的公司或国家能够在这方面胜出。当然我觉得话说回来,我们也验证了国内的很多大模型都已经是接近甚至在有些例子里打平,或者偶尔会超过美国的大模型。所以我还是认为其实同样重要的是需要专注的,它就是里面的工程问题,怎么能够去用工程来让我们不是进入一个盲目的丢算力,达到更高的结果。

当然还有很多挑战,大模型刚推出的时候,就像每个技术刚出来一样,一定会有一些问题。比如说大模型刚开始的时候,不知道最近一年发生了什么,reasons的问题,还有记忆的问题,窗口不够长的问题,还有它的幻觉的问题……但是我们可以看到的就是当这么多聪明的大脑在全球涌入这个领域的时候,这一个个的问题都大部分不能说完美的,但是非常好的被解决了,所以我对未来还是非常乐观的。

张亚勤:我讲三个做对的,三个目前还需要改进的。第一个就是刚才开复讲的,规模效应本身首先是利用了海量的数字化和数据,加上算力的提高,加上现在这个架构很好地利用了算力和这个数据,所以我觉得scaling law现在可能有人说我2年3年是不是就不成立了,我自己认为的话,这在将来可能5年左右至少还是我们产业大的方向。

第二的话就是一个统一的表述,所以token based,我认为也是我们现在大模型里面的很根本的元素,不管你是文本、语音、图像、视频或者是自动驾驶、激光雷达的信号,在生物里面,蛋白质、细胞都最后可以抽象成一个token,然后token之间的这些训练、学习、生成是一个核心。其实和我们大脑很像,大脑神经元都是一样的,不管是做什么事也是一样。

那么第三点的话就是它所谓的通用性关系。现在通用不仅仅可以用到文本,可以用到我们的多模态,也可以用到生成比如说蛋白质,可以用到物理世界具身智能,还可以用到生物智能。

如果是有问题的话,第一个效率还太低,如果看一下我们人类大脑的话,目前的最大的模型是我们人的860亿个神经元,每个神经元差不多几千个突触连接可能比我们小100倍甚至1000倍,但是我们大脑只有三斤重,决策效率很高,所以未来的话需要大幅度提高效率,这样的话才会有真正的商业模式。目前不管是微软也好, OpenAI还有主流大模型,整体来讲的话,它还是一个在买英伟达芯片的过程,就真的商业模式还需要建立,效率需要大幅度提高。

第二点就是针对现在的大模型,还是没有真正的理解物理世界,推理等各个方面还是比较差一些,包括当然这里面的透明性,包括刚才开复讲得幻觉,这些我觉得很多的研究都在不断的做,这里面包括很重要的问题。我们的大模型做得再好,它在生成式和对世界真实的表述之间有一个矛盾,就是怎么样能把我们生成式的这种概率大模型和我们现在已有的原理或者现在的真实模型、知识图谱结合起来,现在有一些像用RAG、微调有些这样的进展,但还我不认为这是一个根本,所以我认为下面5年会有一个全新的架构,使得可以替代现在的transformer和defusion。

那么最后一个欠缺的地方,我觉得是边界问题,我们现在大模型他搞不清楚我知道和我不知道什么,这是我们目前我觉得要解决的一个大的问题。

黄铁军:谢谢亚勤关于三个做对和三个不足,刚才开复老师没讲,但是我想再追加问一下,因为有些人认为大模型就是一个实践、一个工程,是经验主义做的东西,没有理论基础,所以说的不好听叫不靠谱,我不知道你怎么看这个问题?

李开复:我觉得科学和工程缺一不可,如果是只做工程,不了解这个第一性原理,没有数学的根据,不知道怎么做评估,没有办法判断不同的方法哪一个好。最后这样的摸索,这么大的算力和它的成本是肯定做不出一个好的模型的。但是如果只是在实验室里雕花,然后写一些不错的论文,就期待有一批工程的人我把它扔过去,他们做成产品,这个肯定也是不行的。我们在零一万物的经验就是我们每一个做AI、做模型的都要懂infrastructure,都要懂推理,都要知道成本的问题。所以当你在做科研的问题的时候,就要知道会怎么样实现在什么产品里面所需要的速度跟反应是有多快,做完了实验就可以确保这样你做出来的模型可以得到很好的工程结果。还有我们做整个训练模型的过程中,绝对不只是写paper做出结果来,还要同时考虑到我们怎么样系统化的、工程化的去做数据工程,因为数据的训练、数据的筛选这些是非常重要的。还有就是底层的infrastructure,因为GPU这么昂贵,如果能把一张GPU当做两张或三张来使,我觉得任何公司都会得到好处,所以这两者真的缺一不可。

黄铁军:好,谢谢开复老师。第二个我觉得可能大家很多人都特别关心的就是AI 2.0了,我们叫大模型产业化时代,最大的场景在哪里?ToB or ToC对吧?移动互联网都这么多年,这两种赛道两个大赛道哪个更有机会?为什么?这个想请两位发表你们的看法。

李开复:好的,简单的说,我觉得中国ToC短期来更有机会,国外两者都有机会。我觉得从ToC讲起来,大模型我们认为其实就像是移动互联网或者PC时代,一个新的技术新的平台带来新的应用,这是巨大的机会,但是这些应用一定是按部就班的会过来的从PC到移动互联网时代,我认为AI时代也是一样。

第一个阶段应该是生产力工具,第二个阶段可能会是娱乐、音乐、游戏,第三个阶段可能会是搜索,再下一个阶段可能会是电商,然后可能会有社交短视频,还有OTO,这是不变的定律。它的理由有很多,其中一个理由就是刚开始你要能够赚钱,要能够解决问题,所以是工具。越往后难度越高,需要的用户量越高,而且商业模式往往是先堆积用户DAU,再找商业模式,所以你的成本一定要压低,试错的难度高所需要的投资就会更多,所以它按照这个顺序来也是自然的,还有一些细节比如你的用户不多,怎么做社交等等,所以我认为这个定律是不会改变的,所以ToC我们会坚决的从工具一直走向未来的短视频。我考虑ToC就是它要产生大量的用户,我想这不是说不能做大模型的视频的研究或者产品,只是说如果要普及的话,按照我刚刚讲得这6个的顺序,我是坚决相信,然后一定也会发生。

当然这里面有一个挑战就是做这些应用,在大模型领域它跟PC互联网时代不一样,就是推理成本还太贵。所以最近我们也推出了一个新的想法叫做TCPMF。就是当你考虑他的 PMF的时候,你还要把技术的需求跟难度,还有它的成本考虑进去,所以做应用一定要考虑到同时刚才这6个阶段谁先谁后,你该什么时候做,然后要提早做。

第二就是你做的时候要考虑到一旦做完了,技术会不会够好,还有它的成本会不会够低,这些要综合考虑,所以做这方面的ToC应用,不是过去移动互联网的产品经理一个人就可以做主算的,它的难度会很高,你还会需要做infrastructure、做推理引擎的人,还会需要做大模型AI的专家一起来打磨 TCPMF,但是它难度高,回报也高,机会也更大。

最后一点我想讲的就是我不相信技术可以带来一个永久的领先,而且它带来的领先是非常短暂的。因为有很多巨头,他一旦看到了你的PMF验证,他会有更多的方法来超越你。所以一旦你验证出TCPMF来,你要把握着一个一定的时间窗口,把你的品牌打出来,最终胜出的ToC的应用一定不只是技术做得好,技术做好是需要的,还需要抓到一个时间窗口,然后在这个时间窗口打造一个可持续的优势,比如说是品牌优势,比如说是一个社交链,比如说是用户的数据,让他不能离开你这个平台,如果你思考一下过去比如说抖音怎么在微信这么强大的时代能做出来,就是他抓住了这个窗口。

好,再讲一下ToB的应用。我其实觉得ToB是大模型带来更大的价值,而且应该更快实现,但是很可惜,ToB的领域面临了几个巨大的挑战,一个就是传统公司,他不敢采取看不懂的技术,不敢采取这种特别巨大颠覆式的东西,大公司习惯着每一年增加5%,然后继续做去年做的事情,这种颠覆式的东西大公司有点难拥抱。

还有第二个问题,也是最大的问题,对企业带来的价值是降本,而不是创造价值。降本说实在就是取代人类的工作。那么大公司会有很多高管或者中层的管理,他不愿意做这个事情,因为这个做了可能它的团队就要被砍掉了,他在公司的政治资本就没有了,他的权力就变小了,甚至自己工作都没有了,所以大公司有时候是 CEO很想做,但下面的人会产生阻力,所以这些理由造成ToB理论上应该马上可以落地的,但是没有那么快。

还有一个问题,这个是在中国比较严重的问题,就是有些大公司它没有认识到软件的价值,不愿意为软件付费,而且有这么多大模型公司就来竞标,然后大家就越竞越低,竞到最后做一单赔一单,都没有利润,我们在AI 1.0时代就看到这个现象,现在很不幸在AI 2.0时代又重现了。我觉得有些大公司会觉得你们愿意竞价我就挑最低的,或者我把所谓的商务变得比技术更重要,评估的时候你技术不好,但是卖得很便宜,我可能还是会选你,还有有些大公司会觉得我用了你的大模型,你用我的品牌去做融资很划算啊,我为什么要付钱给你?所以这种很不幸的心态就变成一个race to the bottom,也就是说,大公司因为这些理由给很低的价钱,那么大模型公司拿了这么少钱,他不能赔那么多钱去给你拼命的做,他就扔一个模型过去,然后看你运气好不好,能力好不好,这样的话就做不出效果来。

所以在零一万物我们是坚决的要做ToC,要坚决的不做赔钱的ToB,所以我只要能找到能赚钱的ToB我们就做,赔钱的我们就不做,所以我们会在ToB方面是更精挑细选,找那些真正公司上下都a line,大老板跟VP都愿意接受这个概念,或者是大老板权力很大的这种公司,无论在国内还是国外去做。

最后一点我想讲的就是无论做ToC 、ToB它里面的API都很重要,最近国内很多模型降价了,我们在零一万物也推出了我们的elarge的这样的一个模型的API,也希望跟各位有机会合作, 这个API它背后的模型大概接近GPT-4的能力,这是真实的,你可以去测。然后它的价钱是GPT-4的1/4,所以我相信这可以帮助更多的公司或者创业者达到所谓的TCPMF。

黄铁军:谢谢开复老师,刚才ToB 、ToC分析得很透彻,还有最后这个价格也很好用。我想问一下前面关于刚才 ToB、 ToC的观点,特别是刚才还有一个大家关心的问题,大模型产业的最大场景会在哪里?不管是ToB 、ToC我们在什么地方能够落地发挥作用?

张亚勤:在应用和服务层的话,刚才开复讲的先ToC后ToB, ToB时间长一些,ToC的话马上就有应用的产品了,这个和当时的 PC互联移动互联基本上是一致的。但如果再分细一点的话,目前真正赚钱的是ToB。在这个基础硬件、在芯片、在基础设施层,赚钱最多的目前是做像英伟达、AMD这种做芯片的,是做这个服务器的,是做HBM存储的,所以我觉得这个的话目前已经在发生了,但是从应用来讲是先ToC先ToB,还有一个就是我把现在的AI分成三个世界,一个是信息智能,一个是物理智能,现在时髦的名字叫具身智能,另外一个就是生物智能。到了具身智能的话, ToB的应用可能会更快一点,可能比ToC的可能更快一些。到了生物智能的话可能是相反,ToC可能会高于快于ToB,可能每个领域不太一样,但整体来讲的话 ToC 、ToB包括我们现在有开源的模型,有商业的模型,有基础大模型,也有垂直行业的模型、边缘模型都会存在。

黄铁军:刚才已经谈到已经提到具身智能,今年特别热,大家关注度都特别高,具身智能通常像机器人对吧?人形机器人包括人身机器人这是一大类,第二大类就是车对吧?车本身是身体也是一个在驾驶场景上的一种具身智能,当然还有无人机对吧?在空中飞将来也是一种形态,甚至大家可以想象出更多的身体形态,更多的具身智能的这种未来的可能性。我想请问因为自动驾驶已经做了这么多年,今年也已经看来希望已经很大了,那么你们认为到底刚才讲的具身智能的这么多可能性里边,到底是我们热门的人形机器人这个会先有机会,还是像自动驾驶已经有了这么多年积累有机会?

张亚勤:对,的确可能从阿波罗开始,7、8年的时间我一直在从事这个无人驾驶。我认为无人驾驶L4+是具身智能第一个最大的应用,而且我最近一直在讲,也是第一个去实现新图灵测试,无人驾驶本身就是一个特殊的机器人,机器去开车。目前无人驾驶最近有很多好的消息,就是在安全性的已经比人类驾驶要高至少10倍,不管是Waymo在旧金山的结果,还是百度、阿波罗,萝卜快跑大范围的商业运营,甚至更高。最早在阿波罗开始的时候,我就想我们安全驾驶一定要比人类驾驶要超过10倍。

另外一点的话尽管安全很好,开的特别规矩,但是目前还有一些问题,包括开的安全,但是开的不够熟练,不像老司机这样,因为他太守规矩了,你开车不会超速,也不会压线。我最近一直在想,无人驾驶要变成主流,就通过咱们这个新图灵测试的话,需要是好司机,也需要是老司机。这个我认为在明年会实现,我觉得第一个真正实现在具身智能或者物理智能的 AGI就是无人驾驶。

另外我再讲一点就是我们大模型的推出,其实帮助无人驾驶解决了很多原来的问题,比如说长尾问题、数据的生成问题。百度海风跑了1亿公里了,1亿公里很多,但是还是少数据,所以是可以生成很多数据。还有一个就是端到端,大模型可以做端到端,所以说老司机这方面的话,它会有更高的智能性,帮助我们快速的落地。

李开复:我同意刚才雅琴分析的,他在无人驾驶方面主导了中国特别重要的一个项目多年,然后我们在创新工厂也投了很多家无人驾驶的公司,大概投了6家左右,发展都不错,现在我觉得无人驾驶面临的一个巨大的机会就是终于可以落地了,在L2、L3还有一些城市自动的小巴等等,还有特殊场景都是可以真的创造价值,这是很让人欣慰的。然后到L4、L5真的是可以无限的开到街上,全球都还有挑战,这方面我在美国的时候看到了Waymo进展也是不错的,所以依然在往前推进。

不过特斯拉最近推出的服务FSD,可以看到它虽然不是完全大模型,但是它是用了类似的N to N的概念,这个我觉得会颠覆这样无人驾驶的一个领域。那不用FSD能做到多少,能产生多少产业价值。我希望我们投的五六家公司,还有亚勤的前公司都能够证明中国能做得好,也许就是很大的一个市场了。

过去这一年做零一万物我没有太研究,所以不太确定这个市场到底是实现的有多好。但是我觉得FSD它会带来一个新的机会,简单的说也就是基本把大模型的概念放到了无人驾驶里面,这是我非常期待下一阶段能看到的。但这个投资是巨大的,也不见得适合初创公司来做,所以这个是我现在对无人驾驶的看法。他已经用旧的方法做出了比较成熟的产品,在面临市场化的过程,新的算法出来了,但是可能还要一段时间。

讲到具身智能,他就跟亚勤说的一样,是物理世界和AI的结合,但是我也必须说大模型非常适合虚拟世界,比如说在金融公司用后台客服等等,很快就可以落地产生价值,因为它就是一个软件,如果你的数据是软件,出来的结果是虚拟的是数字,你就直接对接大模型就好了。你一旦要接到物理世界就有各种的问题,安全问题是不是?他的机器的问题,机械的问题,故障的问题,engineering的问题,撞到人的问题,难度就非常大。

所以从创业者的角度来说,虽然现在具身智能一时比较热,有一些创业者就涌入了,但是大部分的创业者如果是希望看到短期的落地,产生价值能赚钱,肯定还是做虚拟世界的,要远远容易很多,所以虽然我觉得具身智能是重要的,而且它可以把这个多模态结合了,你一旦具身以后就产生数据了,那就可以有数据,飞轮可以有闭环,所以这是有很大的想象空间,但是短期要做好难度是很大的,我们看无人驾驶做了多少年,现在做到什么程度,具身智能肯定也要走这样的一些弯路和很漫长的道路。

而且对于人形机器人我也有一些特别的看法就是说,我觉得绝大多数的应用并不需要人形机器人,你炒菜机器人应该长得像锅子,对吧?你的吸尘器长得像是一个地上跑得小小圆圆的东西,它长得并不像人,不会说我要做吸尘器,机器人就做一个像人一样的机器人来吸尘,没有必要。那些很酷的Boston dynamic的跳来跳去翻跟斗的,那些真的有很多应用吗?绝大多数的场景几个轮子不是让你更能容易走到吗?你真的需要两条腿吗?除了爬楼梯等等的真的那么需要吗?

而且它带来的难度跟成本提高那么多,我觉得可能很多科学家和创业者都是从小热爱这种科技,希望能复制一个人也无可厚非,但是我觉得最后一句话就是,简单的问一个VC,你相信什么?就不要问了,你就问我说:开复你创新工场投了几家无人驾驶?6家。投了几家具身智能?0。投了几家人形机器人,0。

张亚勤:我再补充一下开复刚才讲的,最近经常有人问我,通用人工智能到底什么时候可以实现?我比较乐观,我讲一下大致的时间点,和开复讲的很一致,我还是分成信息智能、物理智能和生物智能来讲。

在信息智能方面,我认为5年左右就可以实现,现在其实在文本方面,基本已经实现了,图灵测试已经通过了,在视频方面可能还需要几年,所以5年之内我觉得这个有可能达到在虚拟世界或者是信息世界的AGI。

然后到具身智能或物理智能的话可能需要10年,比较乐观的话10年,在生物智能我觉得还需要15-20年或者更长一些,要是三年前问我这个问题,我可能会说50年,会乘以2,现在我把它除以2。

李开复:我非常同意。那很糟糕,我们投了一些生物智能的公司该怎么办?你要不要接去?开玩笑的,我觉得每个领域都还有低垂的果实。刚刚还应该再补充一点,如果问我们投了几家机器人,我们可能投了七八家,但是它不是具身智能,它是比较能够确实解决一个场景里的应用,而且可以能够带来价值的这样的机器人。所以我是相信机器人的,只是具身智能,我觉得他我同意亚琴的十年以后的事情,我们做投资的肯定不能现在去投资一个10年以后才能够发生的事情。

张亚勤(补充):是5-10年。

李开复:我们一旦看到接近,我们就开始投资。

黄铁军:这个概念我再和两位确认一下,因为我们叫通用人工智能,通用人工智能比如说大模型,包括今天已经实现的,包括刚才说未来几年信息空间大模型的认知能力,通常的评测,比如说到了大学、到了博士、到了专家、到了学者甚至于科学家,这是一个我们叫通用性,不管什么学科他都可以做,这是一种理解。但是刚才雅琴讲到后边进入物理世界,甚至于将来像生物一样的这种智能,这个时候的概念跟我们今天讲的通用智能可能又有所不同,也就是大家讲AGI和GAI,通用人工智能我们叫它 GAI好了,去年智源大会我也是这么讲的,具有通用性的人工智能,和我们AI领域说了这么多年的 AGI,AGI是要超越人类的,是有自我意识的,是一个独立的,不仅仅是智能水平超过了人类,而且他有自我意识,他要做出自己的目标自己的判断,你们刚才谈到的是指这样的AGI吗?还是说只是说前面一种?

李开复:AGI的定义,其实真的见人而异,如果我们把它定位成为能做人所有做的一切的事情,我今天没有办法做任何的预测,因为它有太多未知的东西还没有被解决,但是我觉得只把人当做一个金标准,似乎就是说车什么时候能跟人跑得一样好,跑得一样快,车在很多场景已经比人跑得快很多了,但是有些场景它就没法做。所以我觉得只要是sacring law继续,只要AI一年比前一年更聪明,他会多做比如说5倍的事情,IQ会提升20个点,但是他聪明的方向能做的事情,也许是人从来都不能做的,不见得是把人做的每件事他都要做,因为我是做投资和创业的,我想看到的是体现巨大的商业价值,从这个角度来说我们不会太纠结,是不是能够做到100%人类做的;还是世界上1万件事情,9000件AI能做的比人好,然后1000件人做的比较好,这样也挺好的,要给人留一点空间。

谈到虚拟跟物理世界,我还想再补充一点,在虚拟世界里其实agent还是非常需要的,因为我们人的intelligence不是只是回答问题,是要知道怎么能把事情做出来,而且从商业价值的创造, agent真的能够做出事情,帮你把东西买了、帮你把事情解决了,我觉得这个商业价值很大,贴近API也是会再走重要的一步。

张亚勤:我刚才讲20年什么的,不包括你所讲的意识或者情感,我觉得AGI的定义,第一点就是要有巨大的能力,就是大部分的一些任务方面能力要比人类强,不会是100%的,第二点的话它要是通用的。过去比如说每一个任务用于不同的模型,现在是要有通用的一个大的底座,当然上面你可以有小的模型。第三点就是它不断的去升级,不断学习、不断进化的,他就像人一样,但我不认为我们现在scaling law或者我们现在做的所有这些事可以产生意识,而且我也不认为我们应该在这个方面做研究,我觉得我们还是要解决真正的问题,把人工智能作为我们的工具作为延伸,作为我们的agent,而不是另外一种物种。

黄铁军:因为时间咱们已经过了,最后问题,我就是因为明天一天AI的大会还要讨论,但是我想最后还是想问两位资深专家一个问题,因为刚才讲从工程、从应用、从商业、从所有的角度,可能没人想去做一个超越人类有自我意识的这种AGI。但是最近OpenAI发生的事情从去年年底开始,伊利亚和奥特曼他们的争论其实就是两种观念,就是你不想做他可能就出来了,然后出来之后我们就面临着不可失控的这种巨大的风险,这件事你们认为这种风险存在还是不存在?

李开复:我觉得存在的,它的发生的概率不是很高,但是一发生是个毁灭性的事情,尤其是在reward model方面,如果我们越来越走用reward model,然后AI自己找路的话,那这个发生的可能性就会增高,但是今天我们的训练方法似乎还不至于。所以我短期内最担忧的还是坏人用了它去做坏事。

张立勤:对,现在随着能力不断的扩大的话,风险也在不断的扩大,所以我觉得现在考虑到未来的风险是很重要,明天我们专门一节讨论问题。我总结一下的话,我对这个API实现之后比人更聪明,会掌控人类,我没那么担心。我担心的是会失控,由于我们大模型里面,比如说我们的可解释性的问题,我们的大模型到了物理世界以后,我们机器人比人要多得多,我们以后生命世界、脑机接口,这些如果大模型用到基础物理设施、用到金融系统,包括国家安全、军事系统,这个时候的话它失控的风险比较大,所以我们现在开始应该把这些东西要考虑进去,但我是乐观的,我认为我们人类一直讲这两种智慧,一个是发明技术的智慧,一个是引导技术走向的智慧,我觉得我们会达到一个平衡,但是现在要采取行动。

黄铁军:好,谢谢两位资深专家高屋建瓴的真知灼见,谢谢。

24快报
JSON抓取失败