Meta推出其迄今最為強大的開源AI模型Llama 4繫列，其首批推出的Llama 4繫列模型包括Llama 4 Scout和Llama 4 Maverick。此外，還有更為強大的Llama 4 Behemoth仍在訓練中。

    據Meta介紹，Llama 4 Scout包含170億活躍參數、16個專家模型及1090億總參數，在各種廣泛接受的基准測試中，性能優於Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。Llama 4 Scout的支援上下文長度為1000萬token，這將為AI模型的功能打開新的可能，如多文檔摘要，解析大規模用戶活動以進行個性化任務，以及在龐大的代碼庫中進行推理。

    而Llama 4 Maverick也擁有170億活躍參數，但是其專家模型數量增至128個，總參數量為4000億。該模型據稱擁有頂尖的圖像定位能力，可將用戶指令與相關視覺概念精准對齊，併將模型回響錨定到圖像中的特定區域。Meta錶示，Llama 4 Maverick在多項主流基准測試中，全面超越GPT-4o與Gemini 2.0 Flash；在活躍參數僅為其一半的情況下，該模型在推理與代碼能力方面實現了與DeepSeek V3同等性能；其聊天版本在LMArena測試中取得1417的ELO評分，擁有無與倫比的性價比。

    Llama 4 Scout和Llama 4 Maverick均從Llama 4 Behemoth中蒸餾而來，而Llama 4 Behemoth據稱包含2880億活躍參數、16個專家模型以及2萬億參數。Meta錶示，Llama 4 Behemoth為其迄今為止最強大的模型，且尚在訓練中，目前在STEM領域的基准測試中錶現優於GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。

    在官網博文中，Meta分享了關於Llama 4繫列模型的技術細節：

    該繫列模型為首批採用混合專家（MoE）架構的模型，其在訓練和推理時計算效率更高，且在相同的訓練FLOPs預算下，能夠生成更高質量的結果。

    此外，Llama 4採用原生多模態設計，融入早期融合技術，將文本和視覺標記無縫集成到統一的模型骨幹中。Meta稱：“早期融合是一個重大的進步，因為它使我們能夠使用大量未標記的文本、圖像和視訊數據對模型進行聯合預訓練。”Llama 4的視覺編碼器也得到改進，以更好地適應大語言模型。

    在模型訓練過程中，訓練團隊採用了名為“MetaP”的新型訓練技術，能夠可靠地設定關鍵模型超參數（如各層學習率和初始化規模）。Llama 4通過預訓練支援200種語言（其中100多種語言的訓練標記量超過10億個），整體多語言訓練標記量較Llama 3提升10倍，為開源社區的模型微調工作奠定了堅實基礎。

    Meta還通過其他一繫列動作對模型進行訓練和完善，如採用FP8精度以進行高效模型訓練、採用“中期訓練”的方式繼續訓練模型以提升模型核心能力等。

    模型安全也是Meta關註的重點，其在博文中稱“我們的目標是開發最有幫助和最有用的模型，同時防範和減輕最嚴重的風險。我們按照我們的《開發者使用指南：人工智慧保護》中概述的最佳實踐來構建 Llama 4。這包括在模型開發的每個層面（從預訓練到後訓練）整合紓解措施，以及可調節的繫統級紓解措施，以保護開發者免受對抗性用戶的影響。”

    2025年以來，DeepSeek R1、Grok 3、GPT-4.5眾多模型接連推出，不斷刷新數據，如今Llama 4又強勢入場，聲稱碾壓GPT-4.5，可見這場模型之戰愈加激烈。作為開源大模型，Llama 4繫列模型展現了Meta對開源策略的堅持。Meta執行長紮克伯格錶示：“他們的目標是建立世界領先的人工智慧，將其開源，併使其普遍可用，以便世界上每個人都能受益。”結合DeepSeek帶來的沖擊以及OpenAI日益明顯的開源傾嚮，AI公司對開源策略似乎已經愈加認同。但是面對OpenAI等眾多競爭對手，Meta能否通過開源策略構建有效生態壁壘，Llama 4 Behemoth能否助其在“萬億參數俱樂部”中佔據領先地位，還尚未可知。

資訊來源：虎嗅。如有侵權，請聯繫我們刪除。