深入探讨SmolLM2，一个17亿参数的小型语言模型，如何通过以数据为中心的训练和创新的数据集构建，在性能上超越同类模型。我们将揭示其多阶段预训练过程、专门数据集FineMath、Stack-Edu和SmolTalk的创建，以及后训练微调的秘诀。