Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。

今天的主题是：BitNet v2: Native 4-bit Activations with Hadamard Transformation for 1-bit LLMs

Summary

《BitNet v2：采用哈达玛变换实现1比特LLM原生4比特激活》这篇论文介绍了BitNet v2，这是一个旨在提升1比特大型语言模型（LLM）效率的新框架。研究人员通过引入H-BitLinear模块解决了激活异常值的问题，该模块在激活量化之前应用哈达玛变换，将激活分布重塑为更接近高斯分布的形式。这种方法使得LLM能够以原生4比特激活进行训练，显著降低了内存消耗和计算成本，尤其是在批量推理场景中。BitNet v2在保持与现有1.58比特LLM相当性能的同时，实现了更高的计算效率。

原文链接：https://arxiv.org/abs/2504.18415