7.cachegen

背景

Tokenwise locality

Layerwise sensitivity to loss

Encoding 和 Decoding

Delta Encoding

我们在构建搜索引擎的底层存储编码格式的时候用过一个 Delta Encoding/Decoding 的思路，将对应 token 坐标通过相对位置来存储，可以让大数字变成较小的相对位移来存储来减少存储量；这里用到了非常类似的思路: 对于一个 token 的值 (KV cache)，我们用相对于前面值的变化量来存储，当然在这里需要一个 microbench 来说明这个存储在 token kv 背景下确实可以减少存储量:

如上图所示的测量中可以看出来，这是累积分布，所以 Delta 编码的斜率在靠近 0 点的时候都很大，说明 Delta 存储下可以有效利用小数据尺寸来存储大量的数据以节省空间;

Streaming