MOE系列模型-浅谈
输入“/”快速插入内容
MOE系列模型-浅谈
MOE系列模型-浅谈
2024年8月12日修改
转载请联系原作者取得授权
在本文中，梳理了近期 （24年7月前）部分 MOE 大模型的关键信息，包括它们的主要特点、亮点以及相关资源链接。涉及模型 Mixtral 8x7B，Mixtral 8x22B，DeepSeek-MoE，Qwen1.5-MoE，DeepSeek-V2。
代码块
原文：https://zhuanlan.zhihu.com/p/712676995
混合专家模型的 Transformer 模型
对于 MOE 的基础，相比 dense model，MOE 的预训练速度更快，推理速度更快，但需要大量的显存。此外，MOE 的训练也有一些独有的 tips，详细的 MOE 混合专家模型基础，推荐参考： 混合专家模型基础
Mixtral 8*7B
代码块
论文: https://arxiv.org/abs/2401.04088
huggingface 模型权重: https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1
官方博客: https://mistral.ai/news/mixtral-of-experts/
huggingface 模型代码: https://github.com/huggingface/transformers/blob/main/src/transformers/models/mixtral/modeling_mixtral.py
官方给出的评分来看，mixtral 8*7 和 GPT3.5 有的一比。
•
发布时间： 23年12月
•
模型大小 ：8 个 expert MLP 层，一共45B 大小。
•
训练： 除了预训练外，Mixtral MOE 后续还开源了一个经过 SFT + DPO 微调的版本。
•
模型效果：
•
架构： Mixtral 的 MOE 架构类似于，在 MoE 模型中，只有 FFN 层被视为独立的专家，而模型的其他参数是共享的。大致参数为：
对 moe 架构不太了解的朋友，可以参考这篇博客 混合专家模型基础（推荐）。
参考 huggingface 中的 mixtral 和 mistral 实现对比，差异在于 mixtral 中将传统 transformer decoder layer 中的 FFN 替换为了 block_sparse_moe 。