內湖分店 新店分店 中和分店 法拍部 商務中心 

Meta 深夜開源 Llama 4:首次採用 MoE 架構,仟萬 Token 上下文刷新紀錄

    4月6日消息,深夜,Meta PO全新 AI 模型繫列 Llama 4,推出Llama 4 Maverick(400B 參數)和 Llama 4 Scout(109B 參數),以及最強大的 Llama 4 Behemoth預覽。

    Meta 錶示,Scout 和 Maverick 模型已可在 llama.com 與 Hugging Face 下載。Scout 支援1000萬 token 上下文,適配單個 H100 GPU;Maverick 主打性價比,在推理效率與性能上對標 GPT-4o 與 DeepSeek V3。

    值得一提的是,Llama 4 Maverick 在 LMSYS Arena 中 ELO 得分達1417,成為第四個突破1400分的大模型,開放模型中排名第一。在編程、數學、創意寫作等任務中得分領先,較 Llama 3 405B 提升近150分。

    Llama 4 Behemoth 擁有2880億激活參數,Meta 稱其為“世界上最智能”的大模型之一,在 STEM 多項基准測試中超越 GPT-4.5和 Gemini 2.0 Pro,目前仍處於訓練階段。

    所有模型支援文本、圖像、視訊輸入,原生設計實現 token 級別的早期融合。視覺 encoder 基於 MetaCLIP 改進,對圖像區域定位(grounding)能力顯著增強。

    Llama 4是 Meta 首次採用混合專家(MoE)架構的模型,同等算力下比密集模型更高效。以 Maverick 為例,採用128專家 + 共享專家的路由結構,在單臺 H100上即可運行。

    Meta 稱 Llama 4預訓練數據量是 Llama 3的兩倍,覆蓋文本、圖像與視訊,支援200種語言預訓練,其中100種語言的 token 超過10億。

   

資訊來源:網易科技報道。如有侵權,請聯繫我們刪除。



全新M.CBD國際商務中心火熱招商中yes歡迎來電預約參觀

參觀時間:週一~週五 9:00AM~19:00PM(新店) 9:00AM~18:00PM(內湖)

歡迎電洽:02-22199566(新店)  02-26585500(內湖)

新店地址:新店民權路108號10樓

內湖地址:內湖區陽光街321巷8號3樓

M.CBD商務中心專頁yes

FB粉絲專頁yes

民權路上租個人工作室2219-9566/北新路租商務中心/北新路上租個人工作室/大坪林捷運站租商務中心/
新店區租商務中心/新北市租商務中心2219-9566/新北市個人工作室/新北市在台辦事處/新店個人工作室/
新店在台辦事處/十四張捷運商務中心2219-9566/十四張捷運站租個人工作室/十四張捷運租在台辦事處/
租商務中心/租個人工作室/租在台辦事處2219-9566/稀有小坪數辦公室/出租商務中心/出租微型辦公室/
出租個人工作室/民權路出租商務中心/民權路上出租商務辦公室2219-9566/出租大坪林捷運站微型辦公室/
出租大坪林捷運站個人工作室/出租民權路小坪數辦公室/出租北新路小坪數辦公室/出租商務中心/
出租微型辦公室/出租個人工作室/出租M.CBD國際商務中心/


 
Copyright (C) 遠建不動產有限公司版權所有‧非經授權不得轉載、連結本站圖文 ©