Rethinking Sequence Compression with Test-time Regression | AI Radar | OpenZhenZhen
새로운 AI 모델, 제품 출시, 유용한 도구와 AI의 방향을 바꾸는 주요 트렌드를 매일 소개합니다. 把序列压缩看成“测试时回归”:输入 token 构成一个回归问题,前向时闭式求出的系数就是压缩表示,用来替换池化或投影;作者称做块稀疏注意…
새로운 AI 모델, 제품 출시, 유용한 도구와 AI의 방향을 바꾸는 주요 트렌드를 매일 소개합니다. 把序列压缩看成“测试时回归”:输入 token 构成一个回归问题,前向时闭式求出的系数就是压缩表示,用来替换池化或投影;作者称做块稀疏注意…