融易新媒体
快捷导航 融易新媒体
主页 > 科技 > 互联网 >

高通AI负责人:云端难以完成所有生成式AI负载,“混合AI模式”是合理方向

时间:2023-06-24 22:05:02来源:界面新闻

界面新闻记者 | 彭新

“在云端完成所有生成式AI所需的工作负载,是难以实现的。”6月16日,高通技术公司产品管理高级副总裁兼AI负责人Ziad Asghar接受界面新闻记者等采访时称,云端处理存在成本的乘数效应,用户进行查询的次数越多,模型规模就越大,也就会导致云端的成本不断上升。不仅如此,应用数量和用户数量的增加,也会导致成本的提高。因此,高通更倡导所谓“混合AI”模式。

由ChatGPT引发的人工智能大潮席卷科技行业,科技巨头急切寻找其中位置。以手机芯片闻名的高通坚称,云端并非生成式AI全部图景,在手机、电脑、物联网等“端侧”,高通存在机会。

Ziad Asghar称,在高通理念中,混合AI的优势在于结合云端和终端的各自优势:一方面,对隐私和安全要求比较高的终端侧工作负载,可以继续通过边缘云,完全在终端侧完成。同时,通过在云端和边缘侧终端分布工作负载,我们能够大幅度减少云端的处理量。另一方面,对于其它较大负载的AI模型处理工作,可以通过云服务供应商完成。

Ziad Asghar还认为,外界对于云端处理生成式应用仍存在隐私疑虑,而终端侧处理恰恰能够解决这一问题。“比如用户发出一个查询,终端接收之后能够独立完成推理,那么所有相关的查询信息和数据都会留在终端上。”

实际上,与“人工智能”一词已与GPU巨头英伟达深度绑定相比,高通对于自研AI技术的应用,多用于网络信号处理、图形、音频优化等。Ziad Asghar称,高通长期专注于脉冲神经网络(SNN)领域研究,对AI已有15年以上的研发历程,无论时手机上搭载的骁龙芯片、人脸识别还是卷积神经网络等,均有高通AI能力。

高通AI负责人:云端难以完成所有生成式AI负载,“混合AI模式”是合理方向

“我们的独特优势在于,骁龙计算平台拥有专用的硬件单元,能够原生支持生成式AI在本地使用,这与目前市场上其他的产品完全不同。”Ziad Asghar说。

2023年世界移动通信大会(MWC)期间,高通展示了其在安卓手机运行文生图Stable Diffusion模型的能力。Stable Diffusion是一个近期流行的AI模型,能够基于文本输入来创作图像。该模型参数超过10亿,此前主要限于在云端运行。不过,与ChatGPT模型的上千亿参数相比,Stable Diffusion在数据规模上存在较大差异。

“许多关键的生成式AI模型,比如文本生成图像、自然语言处理、编程、图像理解、图像创作等,模型规模一般在10亿到100亿参数之间。”Ziad Asghar称,他介绍,未来几个月内,融易新媒体,高通将有望支持参数超过100亿模型在终端侧运行。

“针对Stable Diffusion,我们所采用的是8位整数运算(INT8),去年年底在第二代骁龙8移动平台上,我们已经进一步支持了4位整数运算(INT4)能力。”Ziad Asghar称,高通从硬件、软件以及工具设计上,均致力于发挥在端侧的人工智能优势。

随着算法愈加复杂,计算量越来越大,高通认为,手机、汽车、无人机,以及万亿级的物联网设备都需要具有更强的人工智能能力。Ziad Asghar介绍,在云端服务器上训练的模型,一般采用32位浮点运算(FP32),意味着完成模型推理需要大量的处理工作。高通希望通过整数运算模式和量化技术进行AI推理,加快获取模型推理结果速度。

智能手机市场行情不佳,以销售手机芯片为主的高通正遭遇挑战。5月4日,高通公布第二财季财报,其营收同比下滑17%至92.8亿美元,净利润同比下降42%至17.04亿美元。其中QCT(半导体业务)部门核心业务手机芯片销量下降17%至61.1亿美元。市场调研机构Canalys数据显示,2022年,全球智能手机出货量连续四个季度下滑,全年市场整体降幅为12%,总出货量跌破12亿部。其中,中国市场2022年出货量减少14%,跌至2.87亿部,创下十年新低。

对于高通而言,在市场下行环境下,生成式AI是其希望向投资人传达信心的重点部分。在第二财季电话会议上,高通CEO安蒙称,生成式人工智能模型的需求正以指数级速度增长,ChatGPT、Stable Diffusion和DALL-E等生成式AI模型已经在短时间内扩展到数百万用户。高通相信该技术将快速发展、持续流行并改变移动、个人计算和汽车领域用户体验。

    近期热点

    中经评论:家装服务行业亟待规范 10-28

    扶持中小企业尚需发力 10-28

    强镇兴村需精耕细作 10-28

    法国开启再工业化“绿色纪元” 10-28

    银行也不能乱收费 10-28

    热门文章
    热点 热点追踪 网站首页 热点 观点