时间:2024-03-27 03:19:36来源:互联网
三是算力是门槛。“你需要非常强大的算力,千卡、万卡都是钱堆出来的。”沈向洋表示,“现在讲的最多的是Scaling Laws(尺度定律)。随着参数的增加,你对算力的需求几乎是平方的关系,随着参数的增加,数据量也在增加。如果干GPT 3.5的话,可能要一万张卡;干GPT 4的话,可能要两万五千张卡;干GPT 4.5的话,可能要五六万张卡;大家弄GPT 5的话,可能要十万张卡。”
四是AI的社会冲击。它有对民众的冲击、公司的冲击、政府监管的冲击和社会发展的冲击。
五是智能的本质。虽然通用人工智能蓬勃发展,但大家对智能的本质没有一个清晰认识,深度学习理论非常欠缺。沈向洋表示,“很多人相信尺度定律,但今天的深度学习,理论非常欠缺。从宇宙到量子,物理学有一套大一统的理论统一起来,叫作Theory of Everything。今天深度学习没有这样的理论,所以叫作Theory of Anything。”
商汤科技:AI模型有知识、推理、执行三大能力层
“最近大家在讨论一个热词——新质生产力。对于开发者来说,生成式AI是带来生产力工具、生产力突破的最好行业。”徐立表示。徐立带来了商汤科技对于AI 2.0时代的新质生产力工具的理解。
徐立把作为生产力工具的AI模型分成能力圈的三层。这三层之间互有依赖,但又不完全是相关的。
第一层是知识层。世界的知识遭灌输到大模型能力中。今天很多生产力工具、代码解决的是知识层的问题。“你提出问题或者你需要它补全,需要它解决一些问题,背后的道理是世界上没有新鲜事,你做过的事情前人做过,所以你可以完成任务。”徐立说。
第二层是推理(演绎)。有了世界知识之后,从一个起点再往前演进。“你可以通过AI的过程,逐步把这个事实推理出来,给出更多的可能性。知识和演绎构造出来的两层,是作为生产力工具的大模型最重要的两层。”他表示,但从推理层面来说,目前成长还相对有限,这也是后面要集中突破的能力之一。
第三层是执行,即如何跟这个世界互动、反馈。
“这三层可以组成一个完备的、对世界提供生产力工具的大模型。”徐立表示,映射到大模型的代码上,知识是世界知识的完整灌注,中间的推理是用更高阶的思维逻辑导出一些知识所不具备的。最后是执行,某种意义上是具身智能的大脑,在执行上会有很大的突破。