中昊芯英“剎那®”TPU AI芯片適配百度文心開源大模型ERNIE-4.5-VL，加速多模態(tài)運(yùn)算

    近日，中昊芯英“剎那®”TPU架構(gòu)AI芯片完成對(duì)百度開源多模態(tài)混合專家大模型ERNIE-4.5-VL-28B-A3B的適配與性能實(shí)測(cè)。此次適配驗(yàn)證了國(guó)產(chǎn)TPU架構(gòu)算力基座對(duì)前沿MoE模型的高效支撐能力，更開創(chuàng)了“國(guó)產(chǎn)創(chuàng)新芯片架構(gòu)+國(guó)產(chǎn)開源大模型”的生態(tài)范式。

    中昊芯英成立于2018年，由前谷歌TPU芯片核心研發(fā)者楊龔軼凡攜一批來自谷歌、微軟、三星等海外科技巨頭公司的AI軟硬件設(shè)計(jì)專家組建。公司核心團(tuán)隊(duì)掌握從28nm到7nm各代制程工藝下大芯片設(shè)計(jì)與優(yōu)化完整方法論，全棧式的技術(shù)梯隊(duì)覆蓋芯片設(shè)計(jì)、電路設(shè)計(jì)、軟件棧研發(fā)、系統(tǒng)架構(gòu)、大模型算法等各類技術(shù)領(lǐng)域，研發(fā)人員占比70%以上。

    歷經(jīng)近5年的研發(fā)，中昊芯英推出的“剎那®”TPU架構(gòu)高性能AI專用算力芯片，擁有完全自主可控的IP核、全自研指令集與計(jì)算平臺(tái)。該芯片采用專為AI/ML而生的 TPU 芯片架構(gòu)，在AI大模型計(jì)算場(chǎng)景中，算力性能超越海外著名GPU產(chǎn)品近1.5倍，能耗降低30%同時(shí)，通過采用Chiplet技術(shù)與2.5D封裝，實(shí)現(xiàn)了同等制程工藝下的性能躍升，并支持1024片芯片片間互聯(lián)，實(shí)現(xiàn)千卡集群線性擴(kuò)容，支撐超千億參數(shù)大模型運(yùn)算需求。

    此次中昊芯英“剎那®”TPUAI芯片適配的百度開源的ERNIE-4.5-VL-28B-A3B模型（以下簡(jiǎn)稱 ERNIE-4.5-VL）是百度文心開源大模型ERNIE-4.5系列中的一款多模態(tài)MoE大模型，于2025年6月30日隨文心4.5系列一同開源。該模型總參數(shù)量為28B，激活參數(shù)量為3B，采用異構(gòu)混合專家架構(gòu)（MoE），在跨模態(tài)理解與生成、長(zhǎng)文本處理等領(lǐng)域表現(xiàn)卓越，適用于智能導(dǎo)覽、視覺客服等多種場(chǎng)景。

    文心4.5系列模型均基于飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、推理和部署，在大語言模型的預(yù)訓(xùn)練中，模型 FLOPs 利用率（MFU）達(dá)到47%。實(shí)驗(yàn)結(jié)果顯示，該系列模型在多個(gè)文本和多模態(tài)基準(zhǔn)測(cè)試中達(dá)到SOTA水平，在指令遵循、世界知識(shí)記憶、視覺理解和多模態(tài)推理任務(wù)上效果尤為突出。

    在此次的技術(shù)適配方面，中昊芯英憑借“剎那®”TPU AI芯片強(qiáng)大的并行處理能力，與ERNIE-4.5-VL的架構(gòu)設(shè)計(jì)實(shí)現(xiàn)了深度融合。芯片的可重構(gòu)多級(jí)存儲(chǔ)、近存運(yùn)算設(shè)計(jì)以及流水線式的時(shí)空映射，有效提升了大模型計(jì)算速度和精度，為模型在復(fù)雜任務(wù)中的運(yùn)行提供了高效支持。同時(shí)，針對(duì)ERNIE-4.5-VL的多模態(tài)特性，“剎那®”TPU芯片在處理視覺、文本等多模態(tài)數(shù)據(jù)時(shí)，展現(xiàn)出了出色的兼容性和運(yùn)算性能。

    根據(jù)實(shí)際運(yùn)行效果表明，在基于“剎那®”TPU AI芯片構(gòu)建的“泰則®”AI服務(wù)器上驅(qū)動(dòng)運(yùn)行 ERNIE-4.5-VL 模型時(shí)，性能表現(xiàn)與海外著名GPU產(chǎn)品齊平。 這一數(shù)據(jù)有力地證明，“剎那®”TPU AI芯片不僅在技術(shù)架構(gòu)上具有先進(jìn)性，在實(shí)際應(yīng)用中同樣擁有強(qiáng)大的性能表現(xiàn)和商業(yè)價(jià)值。

    除了性能數(shù)據(jù)方面，中昊芯英技術(shù)團(tuán)隊(duì)還成功基于“剎那®”TPU AI 芯片運(yùn)行了ERNIE- 4.5-VL的多項(xiàng)復(fù)雜多模態(tài)任務(wù)。例如，在古文識(shí)別任務(wù)中，模型能夠精準(zhǔn)理解古文字體并給出相應(yīng)出處典故，整個(gè)過程流暢運(yùn)行，無縫銜接。這進(jìn)一步佐證了在針對(duì)大模型方面，中昊芯英“剎那®”TPU AI芯片能夠?yàn)镋RNIE-4.5-VL提供穩(wěn)定且強(qiáng)大的算力基礎(chǔ)。無論是大規(guī)模的模型訓(xùn)練，還是實(shí)時(shí)性要求較高的推理任務(wù)，“剎那®”TPU AI 芯片都能滿足需求。此外，通過與百度飛槳框架的緊密配合，進(jìn)一步優(yōu)化模型在芯片上的運(yùn)行性能，可以更好的為開發(fā)者提供更加便捷、高效的開發(fā)環(huán)境，有助于推動(dòng)大模型技術(shù)在更多領(lǐng)域的應(yīng)用和創(chuàng)新。

    中昊芯英創(chuàng)始人及CEO楊龔軼凡表示：“此次適配驗(yàn)證了國(guó)產(chǎn)算力與模型協(xié)同創(chuàng)新的可行性。“剎那®”TPU AI芯片作為專為大模型設(shè)計(jì)的算力引擎，與 ERNIE-4.5-VL 的異構(gòu)MoE架構(gòu)形成完美互補(bǔ)。接下來我們將持續(xù)深化與百度的技術(shù)共研，推動(dòng)從3B到424B全系列模型的硬件加速方案落地，為產(chǎn)業(yè)提供更高效可靠的國(guó)產(chǎn)自主AI基礎(chǔ)設(shè)施�！�