集微网报道 自去年起,无线连接技术不再是世界移动通信展上(mwc)的唯一主角。以ai大模型为代表的智能计算正为这个举办近30年的展会注入全新的内容。
在5g与ai的推动下,高通始终致力于将无线连接和智能计算的创新技术带给业界,拓展至边缘侧几乎所有类型的终端,助力推动5g以及生成式ai的全面普及。
在今年的mwc上,高通将终端侧生成式ai带向新的高度,展示了全球首个安卓手机运行的多模态大模型,全球首个windowspc上运行的音频推理多模态大模型,实现了生成式ai在终端侧的进一步扩展,展现出在终端侧ai领域的创新实力。
同时,高通推出全球首个ai增强的wi-fi系统fastconnect 7900,高集成度实现竞品三颗芯片所能达到的效果。最新一代骁龙x80 5g调制解调器及射频系统的推出,五大行业首创技术也凸显出在无线连接领域的深厚底蕴。
从手机到pc 多模态大模型开跑
去年,高通在mwc上边演示了终端侧文生图(stable diffusion)的演示,并在去年10月的骁龙峰会上推出的骁龙8gen3中首次实现了手机侧对于大模型的支持,截至目前小米、oppo、三星、荣耀等厂商发布的旗舰产品中,均拥有卓越的终端ai的能力,各手机厂商也纷纷围绕ai开启了战略性布局。
此外,去年高通发布骁龙x elite平台实现了对于pc侧的支持,45tops的算力带来极具震撼的性能能力,支持更加强大的ai功能。今年,基于骁龙x elite平台的相关pc产品也将问世,带给业界更多期待,对于加速驱动终端ai的普及具有重要意义。
ai的发展日新月异堪称飞速,今年开年以来,伴随着sora等大模型的出现,多模态大模型成为行业追逐的新热点。而在今年的mwc上,高通便率先展示了手机和pc侧对于多模态大模型的支持能力。
手机方面,高通展示了全球首个在搭载第三代骁龙8的android手机上运行的多模态大模型(lmm)。这个超过70参数的多模态大模型,不仅能够接受文本输入,还可以接受图像、音频等其它输入数据类型,并能够基于输入的内容进行多轮对话。
比如,用户可以拍一张食材的照片,向ai助手提问:这些食材都是什么?根据这些食材能够做什么菜?每道菜的热量是多少?ai助手就能够基于视觉内容提供丰富的信息,所有的功能完全在终端侧运行,能够以非常及时的响应速度生成token,并且更好地保护隐私。
高通还展示了首个在android手机上运行的lora模型。lora能够在不改变底层模型的前提之下,调整或定制模型的生成内容。通过使用很小的适配器(大小仅为模型的2%,便于下载),就能够个性化定制整个生成式ai模型的行为。
在演示中,模型能够根据不同个人或艺术偏好创建高质量自定义图像。lora是面向终端侧生成式ai的关键技术,它能够提升效率,可扩展性以及定制化能力。这一技术不仅能够运用于图像生成,也可以应用于大语言模型等多种生成式ai模型,是实现个性化生成式ai的高效方式。
在pc方面,高通在搭载全新骁龙x elite平台的windows pc上,进行了全球首次运行音频推理多模态大模型的展示。展示中,该大模型能够理解它能理解鸟鸣、音乐或家中的不同声音,并且能够基于这些信息进行对话,为用户提供帮助。
比如,多模态大语言模型能够理解用户输入的音乐类型和风格,为用户提供音乐的历史以及相似的音乐推荐,或通过对话的方式为用户调节周围的音乐。以上模型经过优化,能够实现出色的性能和能效,并完全在终端侧运行,同时能够增强终端侧隐私性、可靠性、个性化以及成本优势。
此外,高通还使用分别搭载骁龙x elite和搭载市场中常见x86芯片的两台笔记本电脑进行对比。两台设备同时运行集成stable diffusion插件的gimp(一款广受欢迎的图像编辑器)进行ai图像生成。骁龙x elite只需7.25秒就能生成一张图像,速度是x86竞品(22.26秒)的3倍。骁龙x elite的npu运算能力高达45tops,大幅领先于竞品。
ai hub:完成大模型部署只需几行代码!
终端侧ai能力的获得,除了需要具备硬件算力的支持外,软件、开发生态的支持也同样重要,这也是终端ai能够跨越更多形态,实现广泛普及的重要基础之一。
正是在这样的背景下,2022年高通推出了ai软件栈(qualcomm ai stack),支持包括tensorflow、pytorch和onnx在内的所有主流开发框架,所有runtimes(运行时,即某门编程语言的运行环境)和操作系统。借助高通ai软件栈,开发者在智能手机领域开发的软件可以快速扩展至汽车、xr、可穿戴设备等其他产品线进行使用。
而在今年的mwc上,高通更进一步,宣布退出全新的高通ai hub,为开发者提供全面优化的ai模型库,打造获取开发资源的中心,从而基于骁龙或高通平台打造ai应用。据介绍,高通ai hub包括传统ai模型和生成式ai模型,使其能够支持在骁龙和高通平台上进行部署。
据高通技术公司产品市场高级总监ignacio contreras介绍,开发者可以选择应用所需的模型(例如70亿的百川大模型),以及其开发应用所使用的框架(例如pytorch、tensorflow)。下一步,开发者需要确定他们的目标平台,例如一款特定型号的手机、或者一款特定型号的高通平台(例如第三代骁龙8)。确定以上信息后,高通ai hub就可以为开发者提供面向其指定应用、指定平台进行优化的模型。开发者只需要几行代码就可以获取模型,并将模型集成进应用程序。
据介绍,高通ai hub将支持超过75个ai模型,包括传统ai模型和生成式ai模型。通过对这些模型进行优化,开发者运行ai推理的速度将提升高达4倍。不仅是速度提升,优化后的模型占用的内存带宽和存储空间也将减少,从而实现更高的能效和更持久的电池续航。这些优化模型将在高通ai hub、以及huggingface和github上提供,让开发者能够将ai模型便捷地集成到工作流中。
fastconnect 7900:高集成度wifi7 一颗顶三颗
在高通看来,终端ai具有在成本、隐私、可靠性等方面的优势,但若想实现生成式ai在终端侧的规模化扩展,离不开跨云端、终端和边缘侧的协同,这种混合ai的方式是ai的未来。
正因如此,需要更加强大的连接能力,从确保所有ai工作负载的有效分配。为此,在今年的mwc上,高通推出了提升无线连接能力的全新产品和技术。
在2022mwc上,高通推出全球首个wi-fi 7yb体育官方的解决方案——fastconnect 7800。而在今年的mwc上,高通推出业界新一代的wi-fi 7yb体育官方的解决方案——高通fastconnect 7900系统。
fastconnect 7900是全球首个ai增强的wi-fi系统,集成了近距离感知功能。 因为wi-fi主要面向家庭、公司、学校或商场等地点使用,并被用于看视频、听音乐或开视频会议等场景。在fastconnect 7900中引入ai能够有效识别这些使用情境,分析用户当下利用wi-fi连接的用途,从而优化wi-fi相应的参数,提升整体性能表现,降低时延,提高能效。基于ai增强特性,用户在使用一些广受欢迎的app时,终端功耗能够下降高达30%。且所有过程都在终端侧运行,不会获取用户数据或进行内容监测,从而保护个人隐私。
此外,这也是高通首次在单颗6纳米制程工艺的芯片中集成蓝牙、wi-fi和超宽带功能,这意味着用一颗芯片就能够实现竞品三颗芯片所能达到的效果。
据ignacio contreras介绍,与前代相比,fastconnect 7900采用了全新的射频前端模组和架构,在降低40%系统功耗的同时提高能效;该系统还助力减少25%占板面积,从而留出更大的电池空间以提升续航能力;此外,fastconnect 7900灵巧的外形设计也大幅提升了成本效益。
通过集成wi-f测距、蓝牙信道探测以及超宽带测距,近距离感知技术可以在终端侧实现不同类型的应用和功能,例如借助超宽带技术找到周围使用智能标签的终端或物品,将蓝牙用作数字钥匙,以及借助wi-fi实现商场等室内导航。oem厂商以及开发者可以根据这些集成的关键技术提供一系列近距离感知应用,而消费者可根据使用场景自主选择使用相应技术。
此外,fastconnect 7900能够支持更出色的多终端体验,例如支持将内容投射到屏幕或扬声器,或同时使用多个屏幕显示,以及支持分离式渲染vr技术。通过高通独有的两大技术——wi-fi高频并发技术(hbs)以及高通扩展个人局域网(xpan)技术,我们能够带来更出色的体验。
例如,通过wi-fi或蓝牙将手机和耳机连接,可以扩大其覆盖范围,实现音频流传输的全屋覆盖。此外,wi-fi高频并发亚博bbin真人的技术支持耳机和另一接入点同时在两个5ghz频段建立连接,与竞品仅使用一个频段建立连接、需要等待一个连接断开再连接另一个的情况相比,该技术助力降低时延。同时,5ghz频段支持更高的数据传输速率和吞吐量,从而实现无损音质。
骁龙x80 首发五大创新技术
去年mwc上,高通推出全球首个支持5g-a ready的骁龙x75 5g基带及射频系统,具有更强的ai能力,以及实现了毫米波和sub6ghz的融合架构。
今天,高通骁龙x80调制解调器及射频系统将ai与5g advanced性能相结合,并通过多项行业首创的领先特性提升5g性能。
骁龙x80是首个能够在sub-6ghz频段实现下行6载波聚合的调制解调器及射频系统,它还首次面向智能手机支持6rx,即射频前端具备6路接收能力,从而扩大射频覆盖范围并提升连接性能。
骁龙x80还支持首个基于ai的多天线管理,首次面向cpe支持ai赋能的增程通信,并首次在5g调制解调器中集成nb-ntn以实现对卫星通信功能的支持。同时,骁龙x80采用第三代高通5g ai套件,带来ai增强的5g-a用户体验。cpe服务获取速度提升60%(毫米波),联网模式下功耗降低10%(毫米波),定位精度提高30%,选择最佳基站时间减少20%,链路获取速度提升30%。
此外,高通还推出了面向5g基础设施领域的arm兼容的处理器产品组合,进一步扩大公司的产品线。
面向5g基础设施领域,高通设计推出的arm兼容处理器将赋能新一代开放式vran服务器,以及极具成本效益的小基站。尤其是在服务器处理器领域,高通基础设施处理器产品组合在赋能高性能连接的同时降低了总体拥有成本,并将ai能力引入无线接入网(ran)。此外,高通在基础设施处理器产品组合中集成了公司全新的自研oryon cpu,为网络侧的ai功能提供支持。
据介绍,为了秉承openran的开放原则,高通基础设施处理器不仅能够与支持分布式单元的高通ran平台配合使用,还支持标准化接口,能够与其他厂商的设备协同工作,以推动下一代openran的发展。
此前高通曾经尝试过进行arm服务器芯片的研发,此后相关业务较少被提及,此次宣布退出基础设施领域arm兼容的产品,似乎意味着这一业务的重启,而且高通此前收购的nuvia团队本身就是做服务器芯片出身,此次作为公司产品线的扩展,似乎意味着高通arm服务器自研芯片业务的重启,但分析人士称可能主要集中在高端桌面和基站等边缘计算领域。
在近期举行的高通财报会上,高通方面指出,今年全球手机市场的出货将与去年持平或小幅增长,但5g手机将实现2位数的增长,为助力实现5g手机的进一步规模普及,在今年的mwc巴塞罗那期间,高通也将与业界探讨,如何将千兆5g能力带给更多智能手机,特别是售价低于100美元的智能手机,让更多人群能够享受到5g赋能的体验。
此外,今年高通还将致力于探索5g新技术如何变革增强型移动宽带之外的体验。在mwc上,高通还和产业界携手,共同展示了先进的汽车链接,支持动态分布式计算的无界ar、5g轻量化(redcap)演进、基于非地面网络(ntn)的太空5g通信、面向媒体的5g广播等创新合作案例。