Core-Aware Selective KV Compression for Reasoning Traces

CASK: Core-Aware Selective KV Compression for Reasoning Traces

• 단일 요약본
• 한국어 정리
• 분량 목표: A4 약 5쪽 내외
• 원문: arXiv:2604.10900v1
• 저자: Buseong Kim, Heejun Gwon

이 글은 CASK 논문을 여러 편으로 나누지 않고 한 번에 읽을 수 있도록 압축한 단일 요약본이다. 핵심 메시지는 간단하다. 추론용 KV cache 압축의 본질은 “어떤 토큰을 더 잘 버릴까”보다 “무엇을 반드시 남기고, 무엇을 대표자만 남겨도 되는가”를 먼저 구분하는 데 있다는 것이다.

저자들은 기존 접근이 대체로 eviction-centered, 즉 토큰별 중요도를 매기고 낮은 점수를 버리는 관점에 머물렀다고 본다. 그러나 scorer를 더 정교하게 만들어도 실제로 유지되는 keep-set이 크게 달라지지 않았고, 이 때문에 reasoning behavior를 보존하는 핵심 지렛대는 ranking 정교화가 아닐 수 있다고 주장한다.

그래서 CASK는 reasoning trace를 protected core와 mergeable scratch로 나눈다. 정답 형성과 상태 고정에 직접 연결된 core는 merge 대상에서 제외해 보호하고, 반복·재진술·자기점검처럼 중복성이 큰 scratch에만 selective consolidation을 적용한다.

 

Figure 1. 방법 개요. CASK는 prefix 단계와 decode 단계를 분리하고, decode 내부에서는 protected core를 보호한 채 scratch에만 선택적 통합을 적용한다.

1. 무엇이 새롭나

CASK의 핵심은 KV compression을 단순한 토큰 랭킹 문제가 아니라, 행동 보존을 위한 구조적 분리 문제로 다시 정의한다는 점이다. 저자들이 보기에 중요한 것은 “어떤 토큰이 중요하냐”를 미세하게 더 잘 맞히는 일이 아니라, 애초에 merge해도 되는 토큰과 절대 merge하면 안 되는 토큰을 먼저 나누는 일이다.

이 관점에서 reasoning trace는 역할이 서로 다르다. 일부 토큰은 답 생성에 직접 연결되는 상태 고정 역할을 수행하고, 일부는 탐색·반복·자기점검 같은 scratch 역할을 한다. 기존 방법이 이 둘을 같은 풀 안에서 eviction 대상으로 다뤘다면, CASK는 core는 보호하고 scratch만 통합한다. 이 구조적 분리가 논문의 가장 중요한 기여다.

2. 실험을 어떻게 읽어야 하나

실험은 크게 세 층으로 구성된다.

1. H100 기반 reasoning gate: AIME24와 AIME25의 teacher-forced replay에서, 같은 budget일 때 full-KV와 얼마나 비슷한 continuation을 재현하는지 본다.
2. LongBench 기반 prompt-heavy replay: prefix가 큰 상황에서도 두 단계 정책이 실제로 이득을 내는지 점검한다.
3. Actual-output bridge: replay 수준의 이득이 실제 생성 결과와 완전히 무관한 진단 신호만은 아님을 확인한다.

중심 지표는 top-1 agreement, top-5 coverage, mean NLL이다. 이 논문은 “항상 더 많이 압축한다”는 식으로 말하지 않는다. 대신 같은 행동을 유지하는 데 필요한 최소 usable budget을 더 낮춘다는 식으로 주장을 세운다. 따라서 독자는 compression ratio 하나보다 budget-fidelity frontier가 어떻게 이동하는지를 봐야 한다.

3. 핵심 결과 ①: H100 reasoning gate

가장 강한 메인 증거는 H100 reasoning slice다. AIME24와 AIME25의 예산 256·384·512 전 구간에서 CASK는 TriAttention보다 높은 top-1과 top-5를 보였고, AIME24 전 구간과 AIME25의 384·512에서는 mean NLL도 더 낮았다.

특히 핵심은 crossing pattern이다. AIME24에서는 cask@256 > triattention@384, cask@384 > triattention@512가 성립한다. AIME25에서도 cask@384 > triattention@512 관계가 유지된다. 즉, 더 공격적으로 버려서 이긴 것이 아니라 같은 nominal budget에서도 더 높은 fidelity를 유지해, 더 높은 budget의 eviction baseline과 경쟁하는 frontier를 만든다는 해석이 가능하다.

Table 1. H100 reasoning fidelity gate

Slice	Method	Budget	Top-1	Top-5	Mean NLL	Saved Ratio
AIME24 ref6	TriAttention	256	86.1%	98.0%	0.463	65.3%
AIME24 ref6	CASK	256	88.4%	99.2%	0.359	65.3%
AIME24 ref6	TriAttention	384	88.2%	98.9%	0.383	61.6%
AIME24 ref6	CASK	384	90.7%	99.7%	0.268	61.6%
AIME24 ref6	TriAttention	512	89.4%	99.1%	0.333	43.6%
AIME24 ref6	CASK	512	91.7%	99.9%	0.233	43.5%
AIME25 ref6	TriAttention	256	85.7%	97.8%	0.500	63.4%
AIME25 ref6	CASK	256	86.8%	97.9%	0.504	55.9%
AIME25 ref6	TriAttention	384	89.1%	98.8%	0.357	59.5%
AIME25 ref6	CASK	384	90.3%	99.1%	0.313	63.3%
AIME25 ref6	TriAttention	512	89.9%	99.0%	0.321	44.8%
AIME25 ref6	CASK	512	91.7%	99.6%	0.254	37.2%

이 표는 논문의 핵심 주장을 직접 지지하는 메인 결과다. 최소한 저자들이 제시한 witness 세트 안에서는, CASK가 더 낮은 usable budget에서도 full-KV behavior를 더 잘 재생한다는 해석이 가능하다.

 

Figure 2. H100 reasoning replay gate. 같은 budget에서 더 높은 fidelity를 보이고, 일부 구간에서는 더 높은 budget의 TriAttention을 추월한다.

4. 핵심 결과 ②: prompt-heavy regime

prompt-heavy 구간에서는 해석 규율이 더 중요하다. 모든 witness를 같은 종류의 증거로 묶지 않고, decode-stage activity가 실제로 기록된 경우와 prefix가 예산을 먼저 잠식한 경우를 분리해서 읽어야 한다.

길이 가중 aggregate 기준으로는 budget 256과 384 모두에서 CASK가 TriAttention보다 weighted top-1, weighted top-5가 높고 weighted mean NLL이 낮다. 다만 witness별 역할은 다르다. hotpotqa는 강한 same-budget gain의 예고편이고, multi_news는 decode-active witness이며, qasper는 stage-1 coverage와 crossing evidence에 가깝다. 반면 2wikimqa는 남아 있는 경계 사례다.

Table 2. Prompt-heavy weighted aggregate

Method	Budget	Weighted Top-1	Weighted Top-5	Weighted Mean NLL
TriAttention	256	58.42%	82.74%	1.985
TriAttention	384	57.34%	82.74%	2.002
CASK	256	63.72%	88.59%	1.594
CASK	384	64.81%	89.40%	1.521

위 표는 package-wide 수준에서 same-budget replay gain이 있음을 보여 준다. 중요한 것은 단순 평균 개선이 아니라, 어떤 데이터셋이 왜 개선되는지를 분리해서 읽어야 한다는 점이다.

Table 3. Prompt-heavy witness 해석 요약

Witness	Budget	핵심 수치	이 witness가 의미하는 것
hotpotqa	256 / 384	Top-1 81.3% → 93.8% / 96.9%, Mean NLL 1.374 → 0.151 / 0.110	강한 same-budget gain
multi_news	256 / 384	Top-1 54.7% → 60.0%, 53.7% → 61.3%	decode-active witness
qasper	256 / 384	Top-1 +3.9%p / +7.0%p, decode events 0	prefix-dominant crossing evidence
2wikimqa	384	Top-1은 뒤집지 못했지만 Mean NLL은 개선	coverage-sensitive boundary

이 표를 보면 논문이 prompt-heavy 결과를 하나의 묶음으로 과장하지 않는다는 점이 드러난다. CASK는 어떤 witness에서는 강한 same-budget gain을 보이고, 어떤 witness에서는 prefix-heavy 환경에서도 손실을 줄이는 방향으로 작동하며, 또 어떤 witness에서는 아직 경계 사례를 남긴다.

5. Actual-output bridge와 한계

actual-output bridge는 replay 지표가 실제 생성과 완전히 무관한 가짜 신호가 아니라는 최소한의 연결 고리다. 논문은 예를 들어 qasper에서 cask@256이 triattention@512보다 더 높은 sequence ratio와 task metric을 보인다고 설명한다. multi_news에서는 같은 384 budget에서 TriAttention이 사실상 붕괴한 반면, CASK는 부분적인 sequence 보존과 0이 아닌 task metric을 유지한다. hotpotqa는 큰 gain 사례라기보다, 압축하면서도 품질을 그대로 유지한 parity non-regression 사례에 가깝다.

중요한 것은 저자들이 여기서도 과장을 피한다는 점이다. 이 논문은 universal superiority, 모든 witness에서 decode-stage dominance, 모든 budget에서 더 높은 savings를 주장하지 않는다. 가장 방어 가능한 결론은 CASK가 현재 증거 묶음 안에서 더 강한 budget-fidelity frontier를 만들고, 결과적으로 동일한 full-KV behavior를 유지하는 데 필요한 최소 usable budget을 더 낮출 수 있다는 정도다.

6. 최종 정리

CASK의 가치는 “가장 많이 버리는 압축기”가 아니라, 반드시 남길 상태와 통합 가능한 scratch를 먼저 구분하는 정책 설계에 있다. 이 논문은 그 구조적 분리가 reasoning KV compression의 핵심 레버이며, scorer를 더 복잡하게 만드는 것보다 usable budget frontier를 더 낮추는 데 효과적일 수 있음을 보여 준다.

정리하면 이 논문은 KV 압축을 ranking-only 문제에서 behavior-preserving structured consolidation 문제로 재정의한다. 따라서 독자가 기억해야 할 문장은 “중요도를 더 잘 맞히는 것”보다 “무엇을 merge 대상에서 빼야 하는가”가 더 중요하다는 것이다.

실험도 이 관점에 맞춰 읽어야 한다. H100 reasoning gate는 메인 증거이고, prompt-heavy replay는 decode-active witness와 prefix-dominant witness, boundary case를 구분해서 해석해야 하며, actual-output bridge는 그 위를 잇는 보조 축이다.

그래서 마지막에 남는 메시지는 분명하다. CASK는 모든 상황에서 무조건 이기는 범용 압축기가 아니라, reasoning trace의 역할 분화를 정책으로 반영해 더 낮은 usable budget에서도 full-KV 행동을 더 잘 유지하도록 만든 설계다.

---