月之暗面研究员Flood Sung近日分享了k1.5模型背后的完整思考过程，并透露称，2024年9月12日OpenAI o1发布的震撼效果让他陷入了对Long-CoT有效性的反思。一年多前，月之暗面Kimi联合创始人Tim周昕宇已经验证过Long-CoT的有效性，通过使用小型模型进行几十位的加减乘除运算，将细粒度的运算过程合成很长的CoT数据进行SFT训练，可以获得非常好的效果。Flood Sung表示，公司意识到了长上下文的重要性，因此首先考虑延长上下文长度，但在Long-CoT方面却不够重视，主要还是出于成本考虑。