设备内训练（On-device Training）能持续的从传感器中学习，让用户享受定制模型的同时而无需将数据上传到云端，从而保护隐私。然而， AIoT 设备（MCU）的SRAM大小通常有限（256KB）。这种级别的内存做推理都十分勉强，更不用说训练了。因此要在硬件资源受限的情况下实现训练是一件困难的事情。

麻省理工大学韩松教授团队的朱力耕博士等人在NeurIPS 2022上提出了一种算法-系统联合设计，仅用 256KB 和 1MB 的内存即可实现设备内训练，且开销不到PyTorch和TensorFlow的1/1000。

朱力耕博士等人提出了量化感知缩放（QAS）来校准梯度刻度并稳定8位量化训练，并设计了稀疏更新（Sparse Update），跳过不太重要的层和子张量来减少内存占用。通过 Tiny Training Engine （TTE）把理论上的数值转化为实际的节省：TTE 将运行时的自动微分转移到编译时并裁剪了后向计算图。

该工作展现出了比MLPerf Tiny更好的准确性（87% v.s. 80%）。12月28日早10点，AI新青年讲座第186讲邀请到MIT HAN LAB 在读博士朱力耕参与，主讲《256KB 内存上深度学习训练方法解析》。