融易新媒体
快捷导航 融易新媒体
主页 > 科技 > 互联网 >

百度发布大语言模型文心一言:目前训练还不够,未来会快速迭代

时间:2023-03-20 07:59:02来源:界面新闻

界面新闻记者 | 崔鹏

3月16日下午,百度发布新一代大语言模型、生成式AI产品文心一言。百度创始人、董事长兼首席执行官李彦宏表示,文心一言的使用场景主要包含文学创作、商业文案创作、数理推算、中文理解和多模态生成。

同时百度还公布了文心一言的邀请测试方案。3月16日起,首批用户可通过邀请测试码,在文心一言官网体验产品,后续将陆续开放给更多用户。

此外,百度智能云即将面向企业客户开放文心一言API接口调用服务。3月16日起正式开放预约,搜索“百度智能云”进入官网,可申请加入文心一言云服务测试。

李彦宏在现场多次提及,这类大语言模型还远未到发展完善的阶段,有赖于通过真实的用户反馈而逐步迭代。

百度发布大语言模型文心一言:目前训练还不够,未来会快速迭代

百度创始人、董事长兼首席执行官李彦宏,图片来源:官方

百度方面表示,文心一言大模型的训练数据包括万亿级网页数据、数十亿的搜索数据和图片数据、百亿级的语音日均调用数据,以及5500亿事实的知识图谱等

据百度介绍,文心一言的视频生成能力则因成本较高,现阶段还未对所有用户开放,未来会逐步接入。

多模态是生成式AI一个明确的发展趋势。”李彦宏表示,“未来,随着百度多模态统一大模型的能力增强,文心一言的多模态生成能力也会不断提升。”

百度公司首席技术官(CTO)王海峰表示,“文心一言”是新一代知识增强大语言模型,是在ERNIE及PLATO系列模型的基础上研发的;它的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。

百度发布大语言模型文心一言:目前训练还不够,未来会快速迭代

王海峰表示,融易新媒体,百度是全球位数不多拥有全栈布局的人工智能公司,图片来源:官方

王海峰称,前三项是这类大语言模型都会采用的技术,ERNIE和PLATO中也已经有应用和积累,在文心一言中又有了进一步强化和打磨;后三项则是百度已有技术优势的再创新,也是文心一言未来越来越强大的基础。

李彦宏表示,目前百度是全球大厂中第一个做出对标ChatGPT产品的企业,“无论是哪家公司,都不可能靠突击几个月就能做出这样的大语言模型。深度学习、自然语言处理,需要多年的坚持和积累,没法速成。”

他认为,百度是全球为数不多在“芯片-框架-模型-应用”四层进行全栈布局的人工智能公司;而百度AI全栈布局的优势在于,可以在技术栈的四层架构中实现端到端优化,大幅提升效率。尤其是框架层和模型层之间,有很强的协同作用,可以帮助构建更高效的模型,并降低成本。

超大规模模型的训练和推理,给深度学习框架带来了很大考验。为了支持千亿参数模型的高效分布式训练,百度飞桨专门研发了4D混合并行技术。

百度官方信息显示,自2月份百度官宣“文心一言”以来,已有超过650家企业宣布接入文心一言生态。

李彦宏预测,大语言模型将带来三大产业机会。

第一类是新型云计算公司,其主流商业模式从IaaS变为MaaS。之前企业选择云厂商更多看算力、存储等基础云服务。未来,更多会看框架好不好、模型好不好,以及模型、框架、芯片、应用这四层之间的协同。

第二类是进行行业模型精调的公司。这是通用大模型和企业之间的中间层,他们可以基于对行业的洞察,调用通用大模型能力,为行业客户提供解决方案。目前百度文心大模型已经在电力、金融、媒体等领域,发布了10多个行业大模型。

近期热点

中经评论:家装服务行业亟待规范 10-28

扶持中小企业尚需发力 10-28

强镇兴村需精耕细作 10-28

法国开启再工业化“绿色纪元” 10-28

银行也不能乱收费 10-28

热门文章
热点 热点追踪 网站首页 热点 观点