【[37星]DiffMoE:PyTorch实现的DiffMoE、TC-DiT、EC-DiT和Dense DiT,让扩散模型训练更高效、性能更出色。亮点:1. 动态MoE架构,参数激活量仅为1×,却能超越3×更大密集模型;2. 全局token池与自适应路由,智能分配计算资源;3. 仅700K训练步,FID低至14.41,Inception Score高达88.19】
'DiffMoE: Dynamic Token Selection for Scalable Diffusion Transformers'
GitHub: github.com/KwaiVGI/DiffMoE
扩散模型 动态MoE 高效训练 AI创造营