摘要公开研究档案
这篇 13 May 2026 发布的预印本研究 1:4(75%)半结构化稀疏的动态 Sparse-to-Sparse Training。页面明确区分算法验证与硬件事实:当前 NVIDIA GPU 原生支持的是 2:4,而不是 1:4。
研究问题
研究问题
Cannistraci–Hebb 动态训练能否把 1:4 / 75% sparsity 推进到半结构化模型,同时为未来硬件执行保留算法路径?
核心创新
核心创新
CHTsNM 采用 N:M dynamic sparse-to-sparse training,在 LLaMA 小模型上验证 1:4 的 row-wise 与 block-wise 路径,并把当前可执行的 NVIDIA 2:4 测量单独列出。
关键结果
关键结果
1:475% 稀疏目标
≈1.66×2:4 NVIDIA 峰值
1:4 / 75% sparsity 是算法验证与未来硬件目标;当前 NVIDIA 原生可实测的加速来自 2:4,峰值约 1.66×。
PPL · 越低越好 · 1:4 algorithm validation
稀疏 / CHT参考值
3325178.360
图表由后台结构化论文结果生成;每个指标使用独立坐标轴,并保留论文报告的比较方向。
NVIDIA 原生 2:4 加速
稀疏 / CHT参考值
1.661.250.830.420
图表由后台结构化论文结果生成;每个指标使用独立坐标轴,并保留论文报告的比较方向。
为什么重要
为什么重要
它把 1:4 作为算法验证和未来硬件目标,同时把现阶段能在 NVIDIA 上实测的 2:4 加速单独标注,避免把研究方向误写成当前原生能力。
出版信息
论文档案
- 发表场合
- Preprints.org
- 年份
- 2026
- 作者
- Jiaqing Lyu · Michael Wirz · Carlo Vittorio Cannistraci
- 机构
- Jiaqing Lyu — Tsinghua University;Michael Wirz — SparseMind AI;Carlo Vittorio Cannistraci — Tsinghua University
- 论文状态
- PREPRINT · NOT PEER-REVIEWED
边界与来源
边界提示:本条目是预印本,尚未经过同行评审。当前 NVIDIA GPU 原生支持 2:4;1:4 是本文的算法验证与未来硬件目标,不应表述为当前 NVIDIA 原生 1:4 加速。
预印本发布日期:13 May 2026。DOI:10.20944/preprints202605.0851.v1

