MoE（Mixture of Experts）架构和PKM（Product Key Memory）架构都是用于构建大型模型的技术，它们在处理大规模计算资源需求方面各有特点和局限性。
以下是它们的主要区别：
计算与参数解耦：
MoE架构：通过稀疏激活专家（expert）的方式，MoE在训练时能够有效减少计算量，因为它不需要同时激活所有专家。这样的设计使得MoE在预训练阶段效率更高，可以用更少的计算资源完成训练。
PKM架构：PKM提出了large memory layer的概念，其中包含大量的稀疏参数value。在推理时，每个token仅激活得分最高的几个value，有效避免了访存瓶颈，但在模型效果和扩展能力上表现较差。
推理效率：
MoE架构：在推理时，由于模型需要逐字生成输出，batch size和sequence length通常较小，导致几乎所有的专家可能被激活，增加了访存需求，引发严重的访存瓶颈，最终导致推理延迟大幅上升。
PKM架构：PKM在推理时每个token仅激活极少数的value，因此在访存效率上表现优异，但由于模型效果较差，限制了其在更大规模模型需求下的应用。
模型效果与扩展能力：
MoE架构：MoE在预训练效率和推理速度上有优势，但在小规模数据集上表现不如密集模型，且微调时容易过拟合。
PKM架构：PKM在访存效率上表现优异，但其模型效果较差，且扩展能力有限，难以应对更大规模的模型需求。
显存和部署成本：
MoE架构：需要较大的显存来加载所有参数，这增加了部署成本。
PKM架构：虽然在访存效率上表现优异，但其在模型效果上的牺牲和扩展能力的限制也影响了其在实际部署中的成本效益。
综上所述，MoE和PKM在设计上各有侧重，MoE在训练阶段的计算效率更高，而PKM在推理阶段的访存效率更高。
然而，两者在推理效率、模型效果和扩展能力等方面都存在不足，需要新的解决方案来进一步优化大模型的推理性能。
网友回复
