aimixly (AI-Mixtral8x7B-开源-模型-魔搭社区上线Mistral-MoE)

MistralAI近日颁布了首个开源MoE模型Mixtral8x7B，并发表在魔搭社区上线，Mixtral8x7B是一个混合专家模型，由8个领有70亿参数的专家网络组成，能够解决32ktoken高低文长度，。

更新时间：2024-01-14 19:43:22