日前,月之暗面發布Kimi K3的模型權重、技術報告,並開源支撐Kimi K3模型訓練的關鍵Infra技術:MoonEP、FlashKDA和AgentEnv。據介紹,Kimi K3是一個擁有2.8萬億參數的混合專家(MoE)模型,具備原生視覺理解能力,並支持100萬token的上下文窗口。月之暗面表示,現在每個人都可以下載並部署Kimi K3模型,無論是用於內部研發,還是嵌入到面向終端用戶的產品中,均可自由使用。
據科技媒體《The Information》消息指,月之暗面正就開發Kimi K4展開討論,料規模將超越Kimi K3,並正尋求獲得更多英偉達(US.NVDA)的先進Blackwell晶片去訓練Kimi K4。