Meta於當地時間週四釋出開放權重大模型Muse Spark Open,並與蘋果合作推動該模型在Mac電腦上本地執行。這款模型採用混合專家架構,總引數量達8160億,其中活躍引數為420億,上下文視窗可達100萬詞元。Meta表示,該模型專為編碼與智慧代理任務設計,在處理長週期任務、複雜軟體工程問題及多步驟推理方面表現突出。
Meta將Muse Spark Open稱為“迄今能力最強的美國開放權重模型”。根據其自行公佈的測試結果,該模型在工作流程、工具呼叫、知識推理、知識可靠性、複雜視覺推理和影像事實問答這6項測試中均排名第一。不過資料也顯示,在軟體開發及其他某些任務上,Kimi、千問、智譜等中國開源模型依然更勝一籌。
此次釋出的另一看點是蘋果與Meta的罕見聯手。在蒂姆·庫克掌管蘋果期間,雙方曾多次公開衝突:庫克指責Meta侵犯使用者隱私,扎克伯格則嘲諷蘋果自iPhone之後缺乏重大發明。但在開源AI競爭的共同利益下,兩家公司選擇合作。Meta需要證明其模型競爭力,蘋果則需展示Mac軟硬體適合本地執行AI。
Meta AI負責人汪滔表示,雙方大部分積怨形成於他加入公司之前,但恩怨由來已久。他同時指出,Meta算力部門聯合負責人、曾擔任蘋果總監的丹尼爾·格羅斯是促成此次合作的關鍵人物之一。去年扎克伯格調整AI戰略時,格羅斯與GitHub前執行長納特·弗裡德曼一同成為重點招攬的人才。
技術層面,Meta利用最新版MLX(針對蘋果晶片最佳化的開源機器學習框架)對Muse Spark Open進行最佳化,適配配備M5 Ultra處理器的Mac Studio,並稱“兩者結合是在個人電腦上執行強大模型的最佳方案”。蘋果最新的Mac Studio(M5 Ultra)最高支援512GB統一記憶體,連線兩台機器即可執行完整模型。
需要注意的是,扎克伯格已在社交媒體展示用兩台頂配Mac Studio執行該模型的照片,但蘋果尚未公開發售512GB版本,官方稱10月底開售。按目前在售的256GB Mac Studio計算,即便“256GB+1TB SSD”配置,單台售價已超1萬美元;若用四台256GB機型組成約1TB記憶體叢集,購機成本超4萬美元。
儘管價格不菲,對於長期租用雲端算力的開發者,這些電腦仍可能通過節省租賃費用收回購置成本,同時獲得本地算力餘裕和資料隱私優勢。汪滔也坦言,蘋果與Meta在某些領域仍存在競爭,但不妨礙合作,在適合攜手的領域雙方願意合作。
除蘋果晶片外,該模型還針對輝達、AMD和英特爾晶片進行最佳化,相容多種主流推理引擎。開發者既可通過多家平台呼叫API,也可下載模型權重自行部署。