近日，中國科學院自動化研究所李國齊、徐波團隊提出一種神經形態脈沖大語言模型（NSLLM），通過借鑒神經科學原理，提升了大語言模型（LLMs）的能效和可解釋性。此項研究不僅為高效AI的發展開辟了新方向，還為下一代神經形態芯片的設計提供了寶貴的見解。

本研究由多個國內外科研機構合作完成，包括中國科學院自動化研究所、天橋腦科學研究院尖峰智能實驗室、北京智源人工智能研究院、北京中關村學院、加利福尼亞大學、清華大學、北京大學、陸兮科技、悉尼大學、香港理工大學、超威半導體公司、中國科學院大學、寧波大學等。相關研究已發表于《National Science Review》。

NSLLM連接大模型與神經科學

大語言模型已成為實現人工通用智能（AGI）的關鍵工具。然而，隨著用戶群體的規模擴大及使用頻率增加，這些模型的部署帶來了顯著的計算和內存成本，限制其作為人類社會基礎設施的潛力。此外，現有LLMs普遍缺乏可解釋性，決策和優化過程的不透明使得其在醫療和金融等高風險領域的應用難以保證可靠性和公平性。相比之下，人腦在執行復雜任務時的功耗不足20瓦，且展現出驚人的透明度。因此，大語言模型的可持續發展與能力躍升，亟需借鑒大腦在高效能耗調控、動態認知推理與可解釋性信息處理等方面的天然智慧，破解當前技術瓶頸、探尋更優發展路徑。

為此，本研究提出了一種學科統一的框架，通過執行整數脈沖計數-二值脈沖轉換和脈沖線性注意力機制，將傳統大語言模型轉化為神經形態脈沖大語言模型，從而鏈接神經科學與大語言模型，為將神經科學工具應用于大語言模型提供了平臺。該模型創新性引入“整數訓練 二值推理”范式，將標準大語言模型的輸出內容轉化為脈沖格式，從而支持直接調用神經科學工具分析信息處理過程，可有效提升大語言模型決策邏輯的可解釋性。

超低功耗軟硬協同定制MatMul-Free LLM

為驗證能效，本研究在FPGA平臺上定制了十億參數量級的無矩陣乘法（MatMul-Free）計算架構。具體而言，研究團隊通過逐層量化策略和層級靈敏度度量，評估層級對模型量化損失的影響，從而配置最優混合時間步脈沖模型，在低比特模型中實現了具有競爭力的性能；通過引入量化輔助稀疏策略，調整膜電位分布，下調量化映射概率，從而顯著降低脈沖發放率，進一步提升模型效率。在VCK190 FPGA硬件平臺上，該研究設計了MatMul-Free硬件核心，完全消除了NSLLM中的矩陣乘法操作，將動態功耗降至13.849W，吞吐量提升至161.8 token/s。與A800 GPU相比，該方法的能效、內存和推理吞吐量分別提高了19.8、21.3和2.2倍。

脈沖神經群體增強可解釋性

通過NSLLM框架將LLMs的行為轉化為神經動力學模型（例如，脈沖列），可以分析其神經元的動態（如通過Kolmogorov-Sinai熵度量的隨機性）以及信息處理的過程（如Shannon熵和互信息）。這有助于解釋NSLLM的計算角色。實驗結果表明，在處理無歧義文本時，模型能夠更有效地進行信息編碼，從而區分含歧義文本與無歧義文本。（例如，中間層在處理含歧義文本時呈現更高的歸一化互信息；AS 層表現出獨特的動態特征，顯示其在稀疏信息處理中的作用；FS 層的 Shannon 熵更高，表明其具備更強的信息傳遞能力。此外，互信息與 Shannon 熵的正相關也說明，高信息容量的層更擅長保留輸入的關鍵信息）。因此，通過將神經動力學與信息度量相結合，該框架為LLM機制提供了生物學上可解釋的見解，同時有效減少了數據需求。

神經科學的研究表明，人腦通過稀疏和事件驅動計算優化能耗，促進信息傳遞，并增強系統的可解釋性。基于這一思路，該團隊構建了一個跨學科的統一框架，提出了能夠替代傳統 LLMs 的神經形態方案，并在常識推理以及更復雜的大模型任務中（如閱讀理解、世界知識問答、數學等）保持了與主流同規模模型相當的性能表現。本研究所提出的框架不僅推動了高效AI的前沿發展，為大語言模型的可解釋性提供了新視角，并為未來神經芯片的設計提供了寶貴的見解。

論文鏈接

來源：中國科學院自動化研究所