时间:2024-04-14 01:15:16来源:界面新闻
4月11日,界面新闻获悉,百度创始人、董事长兼首席执行官李彦宏在一场内部讲话中首次谈及文心大模型为何不开源,以及对于大模型开源与闭源的路线选择的看法。
此外,他还提到了关于AI创业者应该专注模型还是应用、创业公司既做模型又做应用的“双轮驱动”是否是一个好模式等业界焦点话题。
大模型开源意义不大在大模型领域,目前有开源和闭源两种技术路线。
例如马斯克旗下的人工智能初创公司“xAI”选择了开源路线,此前其正式开源了全球最大参数的大语言模型Grok-1。Meta的大语言模型Llama系列,以及在开源社区备受关注的Mistral AI等,国内的智源“悟道”大模型、百川智能大模型、阿里的通义千问模型也都是开源大模型。
掀起大模型热潮的OpenAI开发的GPT-3.5、GPT-4选择了闭源,百度文心大模型也是如此。
李彦宏在内部讲话中提到,关于文心是否需要开源,百度内部有过非常激烈的讨论,最终决定不开源。当时的判断是,市场上一定会有开源的模型,而且不止一家会开源。在这种情况下,多百度一家开源不多,少百度一家开源也不少。
“这个市场上不缺我们这一家开源的模型。我们要开源还得自己去维护一套开源的版本,这是不划算的。”他认为,模型开源的意义其实不是很大,这些开源模型在外零散、小规模地去做各种验证应用,却没有经过大算力的验证。
在他看来,与传统的软件开源不同,大模型开源并非众人拾柴火焰高。反而是闭源模型在能力上会持续领先,而不是一时的领先。
有行业人士同样对界面新闻表示,此前开源软件的优势在于大家共享代码,可以做到多人共同修复bug,使得软件不断更新。然而大模型本身是一个黑盒,在有人提交修改后就有重新训练的可能,每次训练都会消耗大量的算力和资金,并不像从前开源软件一样在多人共同开发方面有如此大的受益。
上述人士判断,长期来看,闭源更能集中智力、算力等资源对大模型进行迭代,比起开源效率更高。
李彦宏也强调,闭源的优势还在于有真正的商业模式,能赚到钱去聚集算力、聚集人才。在成本上,同等能力下,闭源模型的推理成本更低、响应速度更快。同等参数的情况下,闭源模型的能力也更强。
“今天不管是在中国也好、在美国也好,最强的基础模型都是闭源的,而各种各样的小模型、最好的小模型,都是通过大模型蒸馏来的。通过大模型降维做出来的模型就是更好的,这样也会导致闭源在成本上、在效率上会有优势。”他说。
关于大模型的开源闭源之争,百川智能首席执行官王小川此前接受界面新闻采访时也有所提及。他的观点是,大模型本身不代表消费端,不像安卓、IOS需要二选一,今天从企业端的角度,开源闭源都很需要。
王小川很看重开源带来的价值,他认为,融易新媒体消息,未来80%的企业会用到开源模型,因为开源模型小巧,而闭源没法对很多场景做出上佳适配。
AI创业者的核心竞争力并非模型本身