5.17世界電信日之際，高通公司分享終端側(cè)AI如何賦能千行百業(yè)發(fā)展新機(jī)遇

　　在國際電信聯(lián)盟成立160周年之際，中國通信學(xué)會主辦的“2025世界電信與信息社會日系列活動”于5月16日-17日期間在江西南昌召開。今日，以“AI大模型賦能千行百業(yè)”為主題的系列活動之一，“AI與行業(yè)大模型應(yīng)用專題研討”召開。此次專題研討聚焦“運(yùn)營商AI與行業(yè)大模型布局”和“行業(yè)大模型實(shí)踐與應(yīng)用”兩大板塊，匯聚政府機(jī)構(gòu)、科研院所及行業(yè)領(lǐng)軍企業(yè)，共同解讀了全球AI趨勢與治理方向，探討了AI大模型的技術(shù)前沿與行業(yè)實(shí)踐。 

　　高通技術(shù)公司產(chǎn)品管理副總裁姜波在“AI與行業(yè)大模型應(yīng)用專題研討”上發(fā)表了主題演講。他闡述了高通公司作為終端側(cè)AI領(lǐng)導(dǎo)者，如何以行業(yè)領(lǐng)先的終端側(cè)AI軟硬件技術(shù)、廣泛的邊緣業(yè)務(wù)布局和積極開放的生態(tài)合作，把握AI向推理時代邁進(jìn)的重要行業(yè)變革機(jī)遇，推動AI應(yīng)用在邊緣及終端側(cè)繁榮發(fā)展，加速AI技術(shù)與產(chǎn)業(yè)深度融合，賦能千行百業(yè)利用AI技術(shù)找到新的行業(yè)發(fā)展突破口，加速產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，為產(chǎn)業(yè)發(fā)展帶來全新動能。

以下是演講內(nèi)容全文：

　　各位嘉賓大家下午好！我是高通公司姜波。非常榮幸能夠在國際電信聯(lián)盟成立160周年之際，與大家相聚在南昌，共同探討終端側(cè)AI推理創(chuàng)新如何推動智能產(chǎn)業(yè)迎來全新發(fā)展機(jī)遇，并加速各行業(yè)對AI的規(guī)?；杉坝脩趔w驗(yàn)的重塑。

　　今年年初，DeepSeek的推出引發(fā)了對AI模型訓(xùn)練方式的顛覆變革和重新評估，驗(yàn)證了AI即將從大規(guī)模訓(xùn)練向大規(guī)模推理轉(zhuǎn)變的趨勢，這將形成全新的終端側(cè)推理計算的創(chuàng)新和升級周期。雖然模型訓(xùn)練仍將在云端進(jìn)行，但模型推理將向終端側(cè)轉(zhuǎn)移。

　　AI模型訓(xùn)練成本的降低與開源合作相結(jié)合，使得更多開發(fā)者和組織能夠開發(fā)高質(zhì)量模型，并且小模型正逐漸接近前沿大模型的質(zhì)量。盡管有人認(rèn)為模型規(guī)模縮小會導(dǎo)致質(zhì)量下降，但實(shí)際上，2024年來推出的眾多先進(jìn)的AI小模型已經(jīng)具有卓越性能，能夠達(dá)到甚至超越一年前推出的僅能在云端運(yùn)行的更大模型。許多主流模型系列，如DeepSeek R1、Meta Llama、IBM Granite和Mistral Ministral，均已推出小模型版本，并在特定任務(wù)的性能和基準(zhǔn)測試中表現(xiàn)出色。

　　蒸餾技術(shù)是開發(fā)高效小模型的關(guān)鍵，它能夠在保持準(zhǔn)確性的同時實(shí)現(xiàn)知識的轉(zhuǎn)移。這一技術(shù)的應(yīng)用推動了小型基礎(chǔ)模型的激增，其中包括許多針對特定任務(wù)優(yōu)化的模型。以DeepSeek為例，在其發(fā)布的一周內(nèi)，就出現(xiàn)了多種新的蒸餾模型，如通義千問和Llama蒸餾模型。經(jīng)過蒸餾的Llama模型性能顯著提升，而DeepSeek的Qwen-7B蒸餾模型的性能已與去年最先進(jìn)的GPT-4云端模型相當(dāng)。

　　根據(jù)Epoch AI的數(shù)據(jù)，2024年發(fā)布的大規(guī)模AI模型中，超過75%的模型參數(shù)在千億規(guī)模以下。量化、壓縮和剪枝等技術(shù)有助于縮小模型規(guī)模，量化能降低功耗并在不明顯影響準(zhǔn)確性的情況下加速運(yùn)算，剪枝則消除不必要的參數(shù)。將大型基礎(chǔ)模型縮減為更小、更高效的版本，不僅能實(shí)現(xiàn)更快的推理速度、更少的內(nèi)存占用和更低的功耗，同時可以保持較高的性能水平，從而使此類模型適合在智能手機(jī)、PC和汽車等終端上部署。

　　得益于高質(zhì)量小模型數(shù)量的持續(xù)增加，如今，邊緣及終端側(cè)AI開發(fā)者在開發(fā)應(yīng)用和AI智能體方面有著非常多樣化的模型選擇。從全球范圍來看，我們既有Llama、Mistral、Phi這樣的開源模型，還有百川、Gemini Nano、通義千問等閉源模型，這當(dāng)中有一些模型也正在不斷擁抱開源社區(qū)。此外，不同地區(qū)也在積極發(fā)展各自的AI模型，推出了各具特色的新型模型。與此同時，傳統(tǒng)的計算機(jī)視覺和物體檢測等領(lǐng)域所使用的模型，在特定應(yīng)用場景下依然發(fā)揮著不可替代的作用。

　　隨著當(dāng)前模型的發(fā)展，我們觀察到不同設(shè)備，包括手機(jī)、汽車、PC、XR和工業(yè)物聯(lián)網(wǎng)設(shè)備等，在支持的模型參數(shù)規(guī)模方面展現(xiàn)出不同的能力。結(jié)合AI模型自身質(zhì)量的不斷提升，終端側(cè)AI將具備更豐富的功能，如支持更長的上下文、提供個性化體驗(yàn)、實(shí)現(xiàn)多模態(tài)交互和處理并發(fā)模型等，這些都將極大地推動終端側(cè)AI應(yīng)用的創(chuàng)新與繁榮。

　　根據(jù)預(yù)測，2025年中國新一代AI手機(jī)市場出貨量將達(dá)到1.18億臺，占整個市場的40.7%。同時， 2025年中國AI PC市場出貨占比預(yù)計將從2024年的13%大幅上升至37%。

　　作為終端側(cè)AI的領(lǐng)導(dǎo)者，高通在人工智能領(lǐng)域有著超過15年的投入，擁有行業(yè)領(lǐng)先硬件和軟件解決方案覆蓋廣泛終端，并且擁有跨NPU、CPU和GPU的卓越異構(gòu)計算能力、領(lǐng)先的軟件優(yōu)化、以及能效。此外，我們還在全球范圍內(nèi)擁有領(lǐng)先的終端側(cè)布局和高達(dá)數(shù)十億的用戶設(shè)備數(shù)量，覆蓋智能手機(jī)、PC、汽車、XR、邊緣網(wǎng)絡(luò)設(shè)備等等。同時，我們也與眾多生態(tài)合作伙伴共同推動AI技術(shù)的創(chuàng)新和應(yīng)用。

　　2024年，高通與騰訊混元合作，基于驍龍8至尊版移動平臺，共同推動騰訊混元大模型7B和3B版本的終端側(cè)部署。這有助于騰訊混元大模型為廣泛的業(yè)務(wù)場景提供技術(shù)支持，通過利用終端側(cè)AI加速產(chǎn)品創(chuàng)新，并有效降低運(yùn)營成本。

　　在硬件方面，高通長期致力于開發(fā)定制CPU、NPU、GPU和低功耗子系統(tǒng)，同時擁有封裝技術(shù)和熱設(shè)計的技術(shù)專長，這構(gòu)成了我們行業(yè)領(lǐng)先的系統(tǒng)級芯片（SoC）產(chǎn)品的基礎(chǔ)。通過異構(gòu)計算系統(tǒng)，高通幫助開發(fā)者通過上層軟件調(diào)用硬件核心組件進(jìn)行AI加速，包括CPU、GPU、NPU和高通傳感器中樞。其中，Oryon CPU面向即時性要求高的任務(wù)，Adreno GPU擅長圖像和視頻處理，Hexagon NPU適用于持續(xù)和泛在型任務(wù)，如計算攝影和大模型應(yīng)用。而高通傳感器中樞則針對那些對功耗敏感且需要始終保持在線的應(yīng)用場景。

　　在軟件工具支持方面，我們推出了高通AI軟件棧，可以讓模型在終端上完成端到端的部署和優(yōu)化工作。高通AI軟件棧支持所有開發(fā)者常用的AI框架、runtime、開發(fā)工具和操作系統(tǒng)。例如，我們支持ONNX、TensorFlow、PyTorch等主流AI框架，以及ONNX Runtime、Direct ML和TFLite等常用runtime，我們也給開發(fā)者提供了高通自己開發(fā)的runtime——高通AI引擎Direct，以供開發(fā)者調(diào)用前面介紹的各種硬件模塊，對AI用例進(jìn)行加速。此外，為了更好地支持開發(fā)者，我們?nèi)ツ晖瞥隽烁咄ˋI Hub，它能夠幫助開發(fā)者選擇相應(yīng)平臺和開發(fā)模型、編寫應(yīng)用，最后在不同類型的移動終端上進(jìn)行部署。

　　除了高通AI軟件棧和AI Hub，我們還推出了高通智能體AI規(guī)劃器。高通智能體AI規(guī)劃器作為高通AI軟件棧的重要組成部分，位于應(yīng)用和AI框架及runtime之間，為終端側(cè)所有的AI功能提供所需的協(xié)調(diào)規(guī)劃，是賦能下一代智能體AI體驗(yàn)的關(guān)鍵所在。

　　簡而言之，這是一個用于意圖理解、意圖分發(fā)和域服務(wù)調(diào)動的端到端解決方案，涵蓋了從最初的自然語言理解階段，包括自動語音識別（ASR）和文本到語音轉(zhuǎn)換（TTS）模塊，到通過端側(cè)智能體進(jìn)行的意圖理解和任務(wù)編排過程。在任務(wù)編排階段，規(guī)劃器能夠調(diào)用端側(cè)的各種工具，并利用端側(cè)的個性化知識圖譜和本地數(shù)據(jù)，從而讓任務(wù)規(guī)劃更為精確和高效。此外，在完成任務(wù)規(guī)劃之后，規(guī)劃器還支持多種后續(xù)的域服務(wù)，如音樂播放、天氣查詢、導(dǎo)航和訂餐等功能。

　　隨著AI在終端側(cè)無處不在地運(yùn)行，以應(yīng)用為中心的體驗(yàn)正在改變。通過自然語言、圖像、視頻與手勢的交互方式，AI智能體能夠簡化技術(shù)使用方法，預(yù)測用戶需求，并在終端和應(yīng)用內(nèi)主動執(zhí)行復(fù)雜的工作流程、進(jìn)行決策和管理任務(wù)。也就是說，AI正在成為新的UI（用戶界面），用戶將不再需要打開特定的應(yīng)用程序， AI智能體將作為新的交互方式服務(wù)于用戶的所有計算終端。這不僅將改變單個應(yīng)用，還將影響零售、餐飲等行業(yè)的客戶體驗(yàn)邏輯，成為變革商業(yè)版圖的新生力量。

　　今年，高通公司迎來成立40周年、深耕中國市場30年的重要里程碑。過去30年來，高通一直與中國的移動生態(tài)系統(tǒng)企業(yè)保持緊密合作。目前，我們正在攜手更廣泛的合作伙伴，充分利用端側(cè)AI在性能、效率、響應(yīng)速度和隱私保護(hù)方面的優(yōu)勢，共同把握產(chǎn)業(yè)發(fā)展機(jī)遇。

　　在智能手機(jī)方面，包括小米、榮耀、OPPO、vivo在內(nèi)的廠商均已發(fā)布了搭載驍龍8至尊版移動平臺的旗艦手機(jī)產(chǎn)品，支持豐富的生成式AI用例。在PC方面，預(yù)計到2026年將有超過100款搭載驍龍X系列計算平臺的PC發(fā)布或正在開發(fā)中，覆蓋華碩、宏碁、戴爾、HP、聯(lián)想和榮耀等領(lǐng)先廠商。同時，我們持續(xù)與騰訊會議、有道、愛奇藝、字節(jié)跳動等ISV合作伙伴協(xié)作，為開發(fā)者提供工具和支持，把握AI PC的行業(yè)發(fā)展新機(jī)遇。在汽車領(lǐng)域，高通過去在多個場合展示了基于驍龍數(shù)字底盤解決方案運(yùn)行的汽車端大模型和生成式AI用例。如今，理想、小鵬等中國車廠已基于高通第四代驍龍座艙平臺發(fā)布了其車端的大模型功能。

　　站在新的起點(diǎn)上，高通將持續(xù)加強(qiáng)在可擴(kuò)展硬件和軟件方面的投入，并通過與模型廠商的緊密合作，賦能開發(fā)者在終端側(cè)加速采用AI智能體和應(yīng)用，讓AI應(yīng)用更加觸手可及，推動AI技術(shù)在千行百業(yè)的應(yīng)用。