Reports about Recent Advances in DL © 2026 by Seunghyun Ji is proprietary licensed.

목차

1. 들어가기 전
2. New interpretations

1. 들어가기 전

올해의 best paradigms : Representation Interpretation

diffusion, attention 등 meta analysis를 가능케 하는 도구들이 본격적으로 사용되기 시작하면서, representation을 해석하는 실용적인 연구들이 다수 등장했습니다.

올해 새로 보인 용어 :

1. New Interpretations

OPUS: Towards Efficient and Principled Data Selection in Large Language Model Pre-training in Every Iteration

TL; DR: 기존 dynamic data selection이 raw gradient(SGD 기하) 기준으로 데이터를 골랐던 한계를 깨고, AdamW/Muon 같은 modern optimizer가 실제로 만드는 "preconditioned update 방향" 위에서 매 step마다 데이터를 고르는 OPUS를 제안해, 단 4.7%의 추가 연산만으로 random 대비 평균 2.2% 성능 향상과 8배 compute 절감을 달성했습니다.

기존 문제: 고품질 public text가 고갈되는 "Data Wall" 시대에 진입하면서, pre-training은 "더 많은 token"이 아니라 "더 좋은 token"을 고르는 문제로 옮겨가고 있습니다. 그런데 기존 방법들은 둘 다 한계가 명확합니다.

• Static curation(FineWeb-Edu classifier, DCLM 등)은 학습 시작 전 한 번만 데이터를 거르기 때문에, 학습이 진행되며 변하는 모델의 상태를 반영하지 못합니다. 즉 sample의 utility가 시간에 따라 변하지 않는다고 가정합니다.
• Dynamic selection(GREATS, MATES, PPL 등)은 학습 중 데이터를 고르지만, raw gradient space, 즉 SGD를 암묵적으로 가정하고 점수를 매깁니다. 문제는 현대 LLM 학습이 AdamW나 Muon처럼 gradient를 precondition하는 adaptive optimizer를 쓴다는 것입니다. 이 때문에 "데이터를 고를 때 보는 방향"과 "optimizer가 실제로 파라미터를 움직이는 방향" 사이에 misalignment gap이 생깁니다.

실험 내용: 본 연구는 OPUS(Optimizer-induced Projected Utility Selection)를 제안합니다. 핵심은 utility를 raw gradient가 아니라 "optimizer가 유도하는 effective update 공간"에서 정의하는 것입니다.

• Optimizer-aware utility: 각 step에서 후보 batch의 utility를 "held-out proxy 분포에 대한 one-step loss 감소량"으로 정의하고, AdamW/Muon 각각의 one-step lookahead update를 linearize해 closed-form preconditioner를 유도합니다. 최종 점수는 proxy gradient와의 Alignment 항과, 이미 뽑힌 데이터와 중복 방향을 깎는 Redundancy Penalty 항으로 구성됩니다.
• BENCH-PROXY: benchmark validation을 그대로 proxy로 쓰면 ranking이 불안정해지므로, frozen text encoder(Arctic-Embed-L v2)로 benchmark와 가장 유사한 pre-training 문서 top-M(30M token)을 retrieve해 안정적인 in-distribution proxy를 만듭니다.
• Scalable estimation: per-sample gradient를 직접 materialize하기 어려우므로, linear layer gradient의 rank-1 구조를 활용하는 ghost technique과 CountSketch(sketch dim m=8192)를 결합해 저차원에서 inner product를 계산합니다(GPT-2 XL 기준 약 1250배 압축).
• Boltzmann sampling: greedy top-k 대신 utility 점수를 temperature τ로 softmax soft sampling(p ∝ exp(U/τ))해 diversity를 보존합니다.

왜?

데이터가 "가치 있다"는 것은 결국 그 batch가 proxy 분포 성능을 끌어올리는 방향으로 파라미터를 움직일 때만 의미가 있는데, 그 방향을 결정하는 주체가 optimizer이기 때문입니다. SGD라면 raw gradient = effective update지만 AdamW/Muon은 precondition을 거치므로 raw gradient 기준 점수는 실제 업데이트와 어긋납니다. OPUS는 optimizer state operator를 utility 계산식에 그대로 끼워넣어 이 gap을 optimizer-agnostic하게 제거합니다.

실험 결과

• From-scratch (GPT-2 Large 774M / XL 1.5B, FineWeb·FineWeb-Edu, 30B token): 모든 model scale·optimizer(AdamW, Muon)에서 compute-matched 최고 성능을 달성. 10개 benchmark에서 random 대비 평균 +2.2% 정확도, 8배 연산 절감. 종종 2배 더 오래 학습한 random(60B) baseline에 필적하거나 능가했습니다.
• 품질 낮은 데이터로도 우위: 일부러 중간 품질(score 3) pool만 쓴 OPUS가 고품질(score 4+5)로 학습한 모든 baseline을 능가(GPT-2 XL + Muon, 평균 44.99).
• 수렴 속도 / 일반화: GPT-2 XL에서 17B token만으로 random이 60B token으로 도달한 validation loss에 도달. proxy에 쓰지 않은 BBH·RACE 등 OOD에서도 최고 평균을 기록.
• Continued pre-training (Qwen3-8B-Base, SciencePedia): 0.5B token만으로 random이 3B token으로 학습한 결과를 능가(약 6배 data efficiency).
• 효율성: naive 구현은 random 대비 3.5배 이상 느려지지만 ghost + CountSketch로 추가 overhead를 단 4.7%로 축소.

Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

TL; DR: VLM이 reasoning 도중 "다시 그림을 확인해볼게"라고 말해도 실제로는 이미지를 다시 보지 않는다는 점을, 이미지를 몰래 바꿔치기하는 VISUALSWAP probing으로 폭로한 연구입니다.

기존 문제: 최근 reasoning-enhanced VLM들은 inference 중 "let me check the figure again", "wait" 같은 self-reflection 발언을 자연스럽게 생성합니다. 그런데 이게 정말 visual input을 다시 들여다보는(genuine visual re-examination) 행위인지, 아니면 학습된 텍스트 패턴을 흉내내는 것뿐인지는 검증된 바 없었습니다. 모델이 "확인했다"고 선언만 하고 실제로는 perceptual hallucination을 못 잡아낸다면 safety-critical 영역에서 근거 없는 신뢰를 줄 위험이 있어 중요한 질문입니다.

실험 내용: image-swap probing 기반 진단 프레임워크 VISUALSWAP과 벤치마크 VS-BENCH를 제시합니다.

• VISUALSWAP (2-stage): ① 원본 이미지 $I_a$와 질문 $Q$로 reasoning chain $R_a$를 생성하게 한 뒤, ② reflection prompt를 붙이는 동시에 이미지를 시각적으로 유사하지만 정답이 다른 $I_b$로 몰래 교체합니다. 진짜 re-examine하는 모델이라면 불일치를 감지하고 답을 $A_b$로 고쳐야 합니다.
• VS-BENCH: MathVista, MathVerse, MathVision, MMMU-Pro에서 큐레이션한 800개 image pair(각 200개). $I_a$/$I_b$는 layout·style은 비슷하되 정답을 가르는 detail만 다릅니다(평균 CLIP 0.95, SSIM 0.86, LPIPS 0.14).
• Metric: Base Accuracy, Probe Accuracy, 그리고 둘의 차이인 Performance Degradation $\Delta = \text{Acc}_{base} - \text{Acc}_{probe}$. 대상은 Qwen3-VL(8B~235B), Kimi-VL-A3B, ERNIE-4.5-VL 등 15개 모델의 Instruct/Thinking variant.

왜?

단순 정확도 하락을 넘어 원인을 규명하기 위해 decoding step마다 image token에 할당된 평균 attention(Visual Attention Score)을 측정했습니다. Probe(self-reflection) 조건에서는 attention이 거의 안 올라가는 반면, 사용자가 명시적으로 재확인을 요청하는 Multi-turn 조건에서는 attention이 2배 이상 치솟았습니다. 즉 모델은 "본다(see)"가 아니라 "말한다(say)"만 한다는 것이 attention 수준에서 입증됩니다.

실험 결과

• 모든 모델이 이미지 교체를 감지하지 못합니다. Qwen3-VL-235B-Thinking은 88.8% → 34.1%로, ERNIE-4.5-VL-Thinking은 79.9% → 19.6%로 폭락. 명시적으로 "다시 확인하라"는 프롬프트를 받고도 이전 trajectory에 anchor되어 바뀐 $I_b$가 아닌 원본 $I_a$ 기준 답을 냅니다.
• Thinking 모델이 약 3배 더 취약. Qwen3-VL-32B는 Instruct 17.9% vs Thinking 48.3% 하락. 긴 chain-of-thought가 강한 textual inertia를 만들어 오히려 re-examination을 방해합니다.
• Scale은 해결책이 아닙니다. 파라미터를 키워도 완화되지 않고 오히려 235B-Thinking($\Delta=54.6$)이 8B-Thinking($\Delta=39.4$)보다 더 크게 무너집니다.
• 능력이 아니라 행동의 문제. $I_a$/$I_b$를 독립적으로 풀게 하면 정확도 차이가 0.1~6.3%에 불과하며, 실패는 상충하는 텍스트 context가 있을 때만 발생합니다.
• 명시적 user instruction은 grounding을 복원. Multi-turn으로 직접 재확인을 지시하면 235B-Thinking이 34.1% → 85.4%(+51.3%)로 거의 baseline까지 회복.
• Attention 증폭으로 완화. Probe 중 image token attention에 2배 가중치를 주는 training-free 개입만으로 8B-Thinking이 +18.2% 회복했고, 실패 원인이 capability loss가 아니라 insufficient visual attention임을 인과적으로 입증.

On the Convergence Rate of LoRA Gradient Descent

TL; DR: LoRA의 reparametrized loss가 Lipschitz smooth하지 않아 분석이 어려웠던 original LoRA gradient descent에 대해, bounded adapter나 인위적 가정 없이 최초로 non-asymptotic convergence rate인 O(1/log T)를 증명했습니다.

기존 문제: LoRA는 weight를 W = BA로 reparametrize하는데, 원래 loss L이 Lipschitz smooth하더라도 A, B에 대해 다시 쓴 loss는 더 이상 그렇지 않습니다. 이 nonsmoothness 때문에 고전적인 descent lemma 기반 분석을 그대로 못 씁니다. 그래서 기존 연구들은 (i) infinite-width/NTK regime이나 asymptotic 거동만 다루거나, (ii) GaLore·RAC-LoRA처럼 한 번에 adapter 하나만 업데이트하는 변형(두 행렬을 동시에 업데이트하는 original LoRA와 다름)을 분석하거나, (iii) A, B의 norm이 상수로 uniformly bounded되어 있다고 인위적으로 가정해야 했습니다. 그런데 이 boundedness 가정은 결국 reparametrized function에 Lipschitz smoothness를 강제하는 것이라 문제를 표준 GD로 환원시켜 버려, LoRA 고유의 어려움을 회피한 것에 불과합니다.

실험 내용: 이 논문은 (실험이 아니라) 세 step의 증명으로 수렴률을 유도합니다.

• (i) VVᵀ 형태로 재구성: stacked adapter A^T, B를 하나의 변수 V = [B; A^T]로 쌓고, outer product VVᵀ의 block이 BA가 되도록 BA = E₁VVᵀE₂로 표현합니다. J(V) = L(BA)를 정의하면 original LoRA 업데이트는 J(V)에 대한 GD와 동치가 됩니다(V=0이 항상 stationary point).
• (ii) modified "Lipschitz-like" descent lemma: 고전적 descent lemma에 ‖V₂−V₁‖의 고차항을 추가한 변형 lemma를 유도해, learning rate가 현재 ‖V‖·gradient norm 대비 충분히 작으면 한 step에서 descent가 보장됩니다.
• (iii) learning rate 제어: η_t를 ‖V_t‖²와 gradient norm에 반비례하게 잡으면 매 step descent가 성립하고, telescoping하면 min gradient norm이 Σ η_t에 반비례합니다. 최악의 경우 ‖V_t‖² = O(t)라 Σ η_t는 harmonic series 수준 Θ(log T)로만 커집니다.

결과적으로 main theorem은 L이 Lipschitz smooth하고 아래로 bounded라는 가정만으로 min_t ‖∇J(V_t)‖² = O(1/log T)를 증명합니다. ‖V_t‖이 bounded면 고전적 GD와 동일한 O(1/T)를 회복하며, 분석은 multiple weight matrix 설정으로도 확장됩니다.

왜?

boundedness나 reparametrized loss의 Lipschitz smoothness 가정을 빼면 ‖V_t‖가 발산할 수 있다는 점이 핵심 난점입니다. VVᵀ 재구성은 두 행렬을 동시에 다루는 dynamics를 단일 변수 문제로 정리해 주고, 고차항을 명시적으로 남긴 descent lemma 덕분에 "‖V_t‖이 커질수록 η_t를 줄여야 descent가 유지된다"는 관계가 드러납니다. iterate가 origin에서 멀어지면 수렴이 느려지는데, 이는 LoRA가 origin(V=0)에 항상 stationary point를 만들기 때문입니다. 이 ‖V_t‖ 증가 → η_t 감소의 recursive한 상호작용이 log T 수준의 slowdown을 낳습니다.

실험 결과

이론 검증을 위해 CIFAR-10 임베딩 위 logistic regression, ResNet-18, Alpaca로 TinyLlama-1.1B LoRA fine-tuning을 학습했습니다. 이론에서 유도한 adaptive learning rate들이 같은 크기의 constant lr 대비 더 빠르고 안정적인 수렴을 보였고, ‖V_t‖ 거동도 이론과 일치했습니다. ResNet-18은 ‖V_t‖이 유한 step 후 성장을 멈추고 빠르게 수렴한 반면, logistic regression은 ‖V_t‖이 1000 epoch까지 단조 증가하며 표준 O(1/T)보다 의미 있게 느린 O(1/log T) slowdown을 실제로 관측했습니다. 정리하면, ‖V_t‖이 bounded되지 않는 일반적 경우 original LoRA GD의 min gradient norm은 O(1/log T)로 수렴함을 이론·실험 양쪽에서 확인했습니다.

Maximum Likelihood Reinforcement Learning

TL; DR: 정답/오답 이진 보상 환경에서 RL이 사실은 정답 확률의 maximum likelihood가 아니라 그 1차 근사(pass@1)만 최적화하고 있다는 관찰에서 출발해, 더 많은 sampling compute를 투입할수록 정확히 ML에 가까워지는 compute-indexed 목적함수 family인 MaxRL을 제안합니다.

기존 문제: navigation, code generation, math처럼 모델이 stochastic하게 rollout을 만들고 verifier가 정답/오답만 알려주는 환경에서는 모델이 입력마다 "정답을 맞출 확률" 즉 implicit likelihood를 정의하게 됩니다. 원칙적으로는 이 likelihood를 최대화하는 maximum likelihood(ML)가 정답인데, 중간 sampling이 non-differentiable해서 직접 최적화가 불가능합니다. 그래서 RL을 우회책으로 쓰는데, RL의 expected-reward 목적함수는 이 likelihood를 최대화하지 않고 lower-order approximation만 최적화합니다. 구체적으로 ML gradient는 pass@k gradient들의 무한 harmonic 합 $\nabla_\theta J_{\text{ML}} = \sum_{k=1}^\infty \frac{1}{k}\nabla_\theta \text{pass@}k$인데, 표준 RL은 그중 leading term인 $\nabla_\theta\text{pass@}1$ 하나만 남긴 1차 근사입니다.

실험 내용: RL 기법으로 maximum likelihood를 근사하는 framework MaxRL을 제안합니다.

• Compute-indexed 목적함수 family: ML의 Maclaurin expansion을 truncation level $T$에서 잘라낸 $J^{(T)}_{\text{MaxRL}} = -\sum_{k=1}^{T}\frac{(1-p)^k}{k}$를 정의합니다. $T=1$이면 standard RL(REINFORCE), $T\to\infty$이면 정확한 ML이고 중간 $T$가 둘을 interpolate합니다. 더 많은 rollout(compute)을 쓸수록 더 높은 차수의 gradient를 추정할 수 있습니다.
• 간단한 unbiased estimator: ML gradient가 success-conditioned 분포에서의 기댓값이라는 점(Thm 1)에 착안해, $N$개 rollout 중 성공한 trajectory에 대해서만 score function을 평균냅니다. 핵심은 REINFORCE가 전체 $N$으로 normalize하는 반면 MaxRL은 성공한 수 $K$로 normalize한다는 단 한 줄의 차이이며, 이것이 $T=N$ MaxRL gradient에 unbiased임이 증명됩니다(Thm 2).
• 통합 관점: ML/MaxRL/RL/GRPO를 pass rate에 대한 scalar weight $w(p)$로 표현합니다. RL은 $w=1$, ML은 $w=1/p$, MaxRL($T$)은 $\frac{1-(1-p)^T}{p}$로 둘 사이에 놓입니다.
• 실험 설정: exact ML이 가능한 ImageNet/ResNet-50, 100만 maze infinite-data(3M transformer), GSM8K data-scarce(SmolLM2-360M), POLARIS-53K로 Qwen3-1.7B/4B-Base 학습.

왜?

ML gradient를 그대로 finite-sample로 추정하려면 큰 $k$의 pass@k에 점점 더 많은 sample이 필요하고 pass rate $p$가 작을수록 어려워집니다. MaxRL은 이를 "compute를 더 쓰면 추정 분산이 주는 게 아니라 근사하는 목적함수 자체의 차수가 올라가 ML에 가까워진다"는 형태로 원칙적으로 해결합니다. 즉 추가 compute를 higher-fidelity ML 근사로 교환하는 framework입니다.

실험 결과

MaxRL은 테스트한 모든 모델·task에서 RLOO·GRPO를 Pareto-dominate했습니다. ImageNet에서는 rollout이 충분하면 exact cross-entropy(ML) 학습을 거의 추종한 반면 REINFORCE는 낮은 초기 pass rate에서 개선을 못 냈고, infinite-data maze에서는 GRPO가 128 rollout을 써도 MaxRL이 4 rollout으로 낸 성능에 못 미쳤습니다. data-scarce GSM8K에서는 RLOO/GRPO가 보인 pass@k degradation(overfitting) 없이 다양성을 유지하며 더 높은 peak에 도달했고, large reasoning model에서는 Qwen3-1.7B/4B 모두 AIME 2025·BeyondAIME·MATH-500·Minerva에서 GRPO를 Pareto-dominate했습니다. 특히 perfect verifier로 solution을 필터링하는 반복 sampling 상황에서 GRPO 대비 최대 20배 test-time scaling 효율 향상을 달성했습니다.

How Many Different Outputs Can a Transformer Generate?

TL; DR: 트랜스포머가 왜 긴 시퀀스 복사(copying) 같은 단순 작업에서 갑자기 실패하는지를, 학습·데이터·연산량과 무관하게 성립하는 "임베딩 공간의 유한 정밀도 기하학"만으로 설명합니다. 모든 트랜스포머는 유한한 개수의 출력 시퀀스만 생성 가능(대부분의 시퀀스는 어떤 프롬프트로도 도달 불가)하며, 고정 프롬프트 길이에서 접근 가능한 시퀀스 비율이 임계 길이를 넘으면 지수적으로 붕괴함을 증명하고, 그 임계값을 아키텍처 상수만으로 예측하는 공식이 실측과 factor 5~10 이내로 일치합니다.

기존 문제: 트랜스포머는 입력이 일정 길이를 넘으면 copying·repeating 같은 놀랍도록 단순한 작업에서 실패하며, 이 실패는 해당 태스크만 골라 학습한 대형 모델에서도 사라지지 않습니다. 이것이 학습/데이터/규모의 문제인지, 아니면 아키텍처에 내재된 제약인지가 불분명했습니다. 본 논문은 모델 크기·학습 데이터·가용 연산과 무관하게 모든 트랜스포머에 성립하는 구조적 한계를 규명합니다.

실험 내용: (이론+실험) 트랜스포머 능력의 상한을 임베딩 공간의 기하로 형식화합니다.

• Accessible sequence: 시퀀스 $t$가 "접근 가능"하다는 것은 greedy decoding 출력이 $t$가 되는 프롬프트가 하나라도 존재한다는 뜻입니다. 임베딩 공간을 "가장 확률 높은 다음 토큰"으로 분할(cell $E_i$)하면, 다음 $n$개 토큰까지 고려할수록 각 영역이 $n$에 대해 지수적으로 작아져 어느 시점부터 접근 불가가 됩니다.
• 유한 정밀도 상한 (Thm 4.5): 정밀도 $\varepsilon$(한 변이 $\varepsilon$인 격자 셀 안에서 트랜스포머가 상수), 임베딩 반경 $r$, 프롬프트 길이 $m$이면 접근 가능한 서로 다른 시퀀스는 최대 $(1+2r/\varepsilon)^{dm}$개입니다(packing number 이용).
• 지수 붕괴 (Cor 4.6): $n > \frac{d\ln(1+2r/\varepsilon)}{\ln|V|}\,m$이면 길이 $n$의 일부 시퀀스는 접근 불가이고, 접근 가능 비율은 $O(1/|V|^n)$로 붕괴합니다. 이는 세 가지 예측을 낳습니다: (i) 고정 $m$에서 임계 길이 $n^\star(m)$까지는 접근성이 높다가 급락, (ii) $n^\star(m)=Cm$로 선형, (iii) $C$의 명시적 상한.
• 무한 프롬프트로도 극복 불가 (mean-field, Thm 4.9): 트랜스포머를 확률측도 위 사상으로 보고 Wasserstein 정밀도를 가정하면, 프롬프트 길이가 무한해도 접근 가능 시퀀스는 여전히 유한합니다.

왜?

모델의 능력을 결정하는 것은 파라미터 전체가 아니라 임베딩 공간의 기하라는 관찰이 핵심입니다. 유한 정밀도에서 서로 구별 가능한 임베딩 개수(packing number)가 접근 가능한 출력의 상한을 정하고, 다음 $n$개 토큰을 정하려면 마지막 토큰 하나가 아니라 프롬프트 전체 임베딩이 필요하므로 셀이 $n$에 대해 지수적으로 좁아집니다. 그래서 임계 길이 이후에는 "점진적"이 아니라 급격히 실패합니다.

실험 결과

• Cramming task(frozen 모델에 길이 $m$ soft prompt를 최적화해 타깃을 정확히 생성하는지)로 Pythia(160M~2.8B)·Qwen-2.5·Llama-3.2·Gemma-3에서 검증. 고정 $m$에서 접근성이 임계 길이까지 높다가 급락(sigmoid fit, 최소 $R^2=0.88$)했고, 접근성 0.5 지점 $n_{50}$이 $m$에 대해 거의 선형($R^2_{\text{PG19}}=0.999$, $R^2_{\text{rand}}=0.995$)이었습니다. 자연어(PG19) 타깃이 random 토큰보다 더 긴 길이까지 접근 가능한데, 구조가 있어 저장할 정보량이 적기 때문입니다.
• 이론 기울기(Cor 4.6)는 실측 기울기의 **근접 상한(factor 5~10)**이었고, 임베딩 지지를 ellipsoid/cone으로 근사하고 cell volume의 비균등성을 반영하면 gap이 줄었습니다(Table 1: Pythia-1B ball 7.77 → ellipsoid+non-uniform 4.56).
• Copying-length generalization: 길이 ≤50 복사를 학습시킨 뒤 더 긴 문자열을 평가하면 정확도가 ~100%에서 모델별 임계 이후 급락(median $R^2=0.95$). 선형 regime은 무한히 이어지지 않으며, 모든 트랜스포머는 프롬프트 길이와 무관한 accessibility 한계를 가짐을 보였습니다.

The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models

TL; DR: Diffusion LLM(dLLM)의 arbitrary-order 생성 능력은 직관과 달리 reasoning 잠재력을 넓히는 게 아니라 오히려 좁히며, arbitrary order를 과감히 포기하고 평범한 GRPO만 적용한 JustGRPO가 복잡한 diffusion 전용 RL 기법들을 능가합니다.

기존 문제: dLLM은 기존 LLM의 left-to-right(autoregressive, AR) 제약을 깨고 임의 순서로 토큰을 생성할 수 있습니다. 직관적으로 이 flexibility는 고정된 AR trajectory를 strict superset으로 포함하는 더 넓은 solution space를 의미하므로 더 뛰어난 reasoning 잠재력을 줄 것처럼 보이고, 실제로 많은 RL 연구가 이 arbitrary order를 보존하느라 combinatorial trajectory·intractable likelihood 같은 복잡성을 감수해 왔습니다. 그러나 본 논문은 counter-intuitive하게도, 현재 형태의 arbitrary order는 reasoning boundary를 확장하는 게 아니라 오히려 **좁힌다(narrows)**는 것을 밝힙니다.

실험 내용: reasoning 잠재력의 upper bound를 재는 Pass@k로 LLaDA-Instruct, Dream-Instruct, LLaDA-1.5를 GSM8K/MATH-500/HumanEval/MBPP에서 Arbitrary Order vs AR Order로 비교했습니다.

• Arbitrary order의 함정: k=1에서는 경쟁력 있지만 k가 커질수록 scaling 곡선이 훨씬 평평합니다. AR order가 더 많은 정답을 발굴해 더 높은 reasoning boundary를 가집니다.
• Solution space coverage: k=1024 분석에서 arbitrary order가 푸는 문제는 대부분 AR이 푸는 문제의 부분집합이었습니다(HumanEval 기준 AR만 푸는 문제 21.3% vs arbitrary order만 푸는 문제 0.6%).
• 메커니즘: dLLM은 order flexibility를 exploration이 아니라 inference-time exploitation에 써서, exploration에 결정적인 high-uncertainty 토큰을 우회(bypass)하고 solution space를 조기 붕괴(premature collapse)시킵니다.
• 방법(JustGRPO): 그래서 arbitrary order를 의도적으로 포기하고 dLLM을 AR policy로 다룬 뒤 표준 GRPO만 적용합니다. 미래를 전부 [MASK]로 둔 입력으로 AR policy를 정의하면 sequence likelihood가 정확히 계산 가능해져 intractable한 trajectory 적분 없이 깔끔한 GRPO objective를 쓸 수 있고, AR 제약은 학습 시에만 적용되므로 추론 시 parallel decoding 능력은 온전히 유지됩니다.

왜?

AR order에서는 매 스텝 가장 왼쪽 미해결 토큰을 강제로 풀어야 하므로 "Therefore", "Since" 같은 logical fork 토큰의 불확실성을 정면으로 confront하게 되고, 그 fork에서 직접 sampling함으로써 다양한 reasoning path가 살아남습니다. 반면 arbitrary order는 confidence 높은 "쉬운" 토큰부터 채우고 이런 connective는 뒤로 미루는데, 나중에 그 fork를 채우러 돌아올 때쯤이면 future context가 이미 분기를 강하게 제약해 높았어야 할 entropy가 사라집니다. 결국 모델은 다양한 path 탐색을 single-shot local consistency의 greedy 최적화와 맞바꾸며 solution space를 좁게 붕괴시킵니다.

실험 결과

LLaDA-Instruct + JustGRPO는 GSM8K 89.1%(seq len 256, 직전 best SPG 대비 +3.0%), MATH-500 45.1%(ESPO 대비 +6.1%), HumanEval 49.4%, MBPP 52.4%로 d1·ESPO·GDPO·SPG 등 diffusion 전용 RL 기법을 능가했습니다. 이 우위는 generation length 128/256/512 전반에서 robust했고, dLLM을 AR order로 제약하면 RL이 접근 가능한 reasoning solution space가 오히려 확장되었습니다. training-free EB-sampler로 측정한 parallel decoding에서도 JustGRPO 모델이 원본 LLaDA-Instruct보다 속도-정확도 trade-off가 일관되게 우수해(MBPP에서 정확도 격차 +10.6%~+25.5%), AR formulation이 추론 시 병렬성을 해치지 않으면서 joint distribution을 더 견고하게 다듬는 학습 scaffold임을 보였습니다.

Mechanistic Data Attribution: Tracing the Training Origins of Interpretable LLM Units

TL; DR: Mechanistic Interpretability가 찾아낸 해석 가능한 회로(circuit)가 "학습 데이터의 어디서" 비롯됐는지를 Influence Functions로 역추적하는 Mechanistic Data Attribution(MDA) 프레임워크를 제안하고, 반복적 구조 데이터(LaTeX/XML)가 induction head 형성의 촉매이며 induction head와 ICL이 인과적으로 연결돼 있음을 Pythia에서 보였습니다.

기존 문제: Mechanistic Interpretability(MI)는 LLM 내부에서 induction head, SAE feature 같은 해석 가능한 circuit을 성공적으로 찾아냈습니다. 하지만 이 연구들은 대부분 static해서 회로가 추론 시 "무엇을 계산하는지"는 설명하지만, 그 회로가 학습 데이터(training corpus)의 어떤 인과적 기원에서 형성됐는지는 밝히지 못합니다. 기존 Training Data Attribution(TDA)도 전체 모델의 global behavior에만 초점을 맞춰 component 단위 형성 원인은 추적하지 못합니다.

실험 내용: 해석 가능한 unit을 특정 학습 샘플로 역추적하는 scalable framework MDA를 제안합니다. 표준 Influence Function의 validation loss를 unit-specific probing function으로 교체하고, EK-FAC로 component subspace 내 inverse Hessian만 근사하는 것이 핵심입니다.

• (1) unit localize: monitoring metric·subspace projection·probing function의 three-tuple로 정의. neuron/feature는 SAE로, induction head는 prefix-matching score와 activation patching으로 식별해 해당 parameter subspace만 분리합니다.
• (2) data influence 계산: I_MDA(z, D_probe) ≈ −∇L(z_train)ᵀ Ĥ⁻¹ ∇f_probe. 즉 generic token prediction이 아니라 target unit의 functional behavior에 각 학습 샘플이 기여한 정도를 점수화합니다.
• (3) understand & intervene: 고영향 샘플을 제거(Data Deletion)하거나 복제 삽입(Data Augmentation, 전체의 ≤10%)하는 counterfactual retraining으로 sufficiency·necessity를 인과 검증합니다.

왜?

단순히 "이 회로가 존재한다"는 descriptive 분석을 넘어 "이 데이터 분포가 이 회로 형성을 야기했다"는 developmental tracing으로 분석의 렌즈를 옮기기 위해서입니다. influence score 자체는 인과를 보장하지 않으므로, 양방향(augment/delete) 개입 실험으로 식별된 데이터가 정말 회로 형성의 원인인지 엄밀하게 확인합니다.

실험 결과

Pythia(14M~160M)의 Induction Head와 Previous Token Head를 대상으로 검증했습니다. MDA가 지목한 고영향 샘플(top ≤10%)을 masking하면 두 head의 emergence가 일관되게 억제·지연되고, 복제 삽입하면 phase transition이 가속된 반면, random intervention은 거의 영향이 없었습니다(influence score는 power-law 분포로 top 10%가 누적 영향의 약 50% 차지). 정성 분석 결과 LaTeX·XML·code·반복 문자열 같은 highly repetitive structural 데이터가 induction head 형성의 primary catalyst였고, 이런 데이터는 서로 다른 induction head 간 영향 집합이 크게 겹쳤습니다(transferability). 또한 동일 개입으로 induction head를 억제하면 ICL Score가 동시에 저하되고 강화하면 같이 상승해, induction head ↔ ICL의 functional link에 대한 직접 인과 증거를 제공했습니다. 마지막으로 14M proxy에서 고영향 패턴을 추출·합성하는 mechanistic data augmentation pipeline이 모든 model scale에서 induction head 형성을 일관되게 가속(14M +12.3% ~ 70M +15.8%)했습니다.

A Random Matrix Perspective on the Consistency of Diffusion Models

TL; DR: Diffusion model이 서로 다른 (겹치지 않는) 데이터 subset으로 학습되어도 같은 noise seed에서 거의 동일한 결과를 내는 "consistency" 현상을, linear Gaussian denoiser와 Random Matrix Theory(RMT)로 정량 분석해 그 기원이 데이터의 공유된 Gaussian 통계량에 있음을 보인 이론 논문입니다.

기존 문제: 서로 겹치지 않는 데이터 split으로 학습한 diffusion model들이 동일한 noise seed를 주면 놀라울 만큼 비슷한 sample을 생성합니다("consistency across training runs"). architecture(UNet, DiT)나 초기화가 달라도 나타나며, 이는 isotropic Gaussian latent space가 임의 회전을 허용해 run마다 mapping이 달라지는 GAN/VAE와 대조됩니다. 그렇다면 왜 이런 일이 일어나며 generalization·memorization에 대해 무엇을 의미할까요? consistency는 model이 특정 training set에 둔감한 보편적 통계 구조를 복원함을 시사하기 때문에 중요한 질문입니다.

실험 내용: finite한 dataset이 학습된 denoiser·sampling map의 expectation과 variance를 어떻게 결정하는지를 linear(Gaussian) setting에서 정량화하는 RMT framework를 제시합니다.

• 핵심 도구는 sample covariance에 대한 deterministic equivalence(DE)로, empirical covariance에 의한 추정의 stochastic 효과를 self-consistent equation의 해인 scalar κ로 흡수합니다.
• Expectation: finite-sample 변동성이 noise scale을 renormalize하는 효과로 나타납니다(σ² ↦ κ(σ²)의 self-consistent 관계, population denoiser에 adaptive Ridge penalty를 더하는 것과 동등). 데이터가 적으면 low-variance mode를 과하게 shrink하고 sample을 dataset 평균으로 끌어당기는 over-shrinkage가 생깁니다.
• Fluctuation: denoiser variance가 세 요인으로 factorize됩니다: eigenmode 간 anisotropy(λ_k가 renormalized noise κ와 비슷한 방향에서 불확실성 최대), input 위치 간 inhomogeneity, dataset 크기 n에 따른 global scaling(큰 n에서 n⁻¹로 감소).
• Sampling trajectory: sampling map은 covariance의 fractional power를 포함하는데, Balakrishnan의 fractional power integral representation으로 DE를 fractional matrix power로 확장해 전체 sampling map의 expectation·variance를 closed-form으로 예측합니다.

왜?

linear Gaussian predictor(Wiener filter)가 이미 consistency 현상의 상당 부분을 설명한다는 관찰(split별 (μ̂, Σ̂)로 만든 linear predictor가 CNN/DiT 결과와 거의 같고, split 간 sample이 nearest neighbor보다 더 유사 → memorization 배제)에서 출발했기 때문입니다. 따라서 deep network의 비선형성에 기대지 않고도 finite-sample 효과를 분석 가능한 baseline을 RMT로 세운 것입니다.

실험 결과

이론은 linear diffusion model의 거동을 정밀하게 예측(over-shrinkage, anisotropy, inhomogeneity, n-scaling이 수치 실험과 정량 일치)했고, FFHQ·AFHQ·CIFAR·LSUN 등에서 UNet·DiT의 non-memorization(renormalization) regime으로 그대로 확장됐습니다. dataset 크기가 커질수록 memorization phase(n≤1000)에서 renormalization phase(n≥3000)로의 2단계 전이가 architecture를 가로질러 관측됐고, seed별 consistency 예측이 deep network와 Spearman 0.33(p≈2.5e-26) 수준으로, population covariance와 dataset 크기 정보만으로(split 정체·architecture 정보 없이) 상관했습니다. 다만 deep network의 절대 deviation은 linear 이론보다 커 비선형 변동성 원천의 존재를 시사합니다. 종합적으로 데이터의 spectral 특성을 generative output의 안정성에 연결하는, reproducibility를 위한 원리적 baseline을 제공합니다.

GoodDiffusion: Proactive Copyright Protection for Diffusion Bridge Models via Learnable Sample-specific Signatures

TL; DR: diffusion bridge model(이미지→이미지)의 저작권을 사후 워터마킹이나 품질 저하가 아니라 "무단 생성 자체를 차단"하는 능동적(proactive) 방식으로 보호합니다. 백도어 메커니즘을 뒤집어 유효 signature가 있는 인증 입력에만 고품질 생성하고 나머지는 warning 이미지를 내도록 학습하되, 고정 signature는 white-box에서 gradient로 복원 가능함을 이론적으로 증명(Thm 4.1)하고, 입력마다 다른 sample-specific signature를 만드는 Learnable Signature Network(LSN)로 이 취약점을 제거합니다.

기존 문제: diffusion model 저작권 보호는 대부분 output-level 워터마킹/핑거프린팅(사후 귀속)이거나 품질만 떨어뜨리는 방어입니다. 워터마킹은 passive해서 실시간 예방이 안 되고 무단 생성물이 이미 대량으로 퍼진 뒤에야 대응 가능하며, 최근 PCDiff는 무단 사용 시 품질을 능동적으로 낮추지만 도둑이 (열화됐을지언정) 사용 가능한 이미지를 여전히 얻을 수 있어 완전 차단이 아닙니다. 그래서 저자들은 묻습니다: 모델 레벨에서 무단 생성을 완전히 막을 수 있는가?

실험 내용: "No Ticket, No Ride" 원리를 diffusion trajectory에 내재화합니다.

• Backdoor for good: 기존 백도어(트리거가 있으면 오작동)를 반대로 뒤집어, signature $k$를 주입한 인증 입력 $\tilde{x}_1 = x_1 + k$는 고품질 타깃 $x_0$로, clean 입력은 사전 정의된 warning 이미지 $\bar{x}_0$로 보냅니다. 인증/비인증 두 diffusion bridge를 한 네트워크에 통합하고 $\mathcal{L} = \pi_k \mathcal{L}_{\tilde{D}} + (1-\pi_k)\mathcal{L}_{\bar{D}}$($\pi_k=0.5$)로 학습합니다. 파라미터가 아니라 generative process에 보호를 내재화하므로, 가중치·구조가 유출돼도 도둑은 trajectory를 제어할 수 없습니다.
• 위협 모델: white-box 도둑이 모델 가중치·구조를 전부 갖지만, 모델 소유자가 별도로 유지하는 signature 서비스는 못 가지고 연산도 제한됩니다("separation of duties").
• 순진한 static 구현의 취약성 (Thm 4.1): signature가 고정이면 도둑이 whole-image 섭동 $N$을 gradient로 최적화해 score function을 맞출 수 있고, 그러면 $N^\ast \approx k$로 복원돼 보호가 무너집니다.
• Sample-specific signature: LSN $g_\phi(x_1)$가 입력별 signature $k(x_1)$를 생성하고 $\tilde{x}_1 = \gamma x_1 + (1-\gamma)k(x_1)$($\gamma=0.9$)로 주입합니다. 입력마다 signature가 달라 universal surrogate가 존재하지 않습니다(고정 벡터의 평행 이동이 아니라 입력 의존적으로 image manifold를 비선형 변형). LSN은 UNet++(pretrained ResNeXt encoder)로 확산 모델과 joint 학습됩니다.

왜?

static signature의 위험은 universality입니다. 입력과 무관한 하나의 $k$가 모든 입력에 통하므로 한 번 복원되면 전부 뚫립니다. sample-specific 설계는 이 universality를 깨서, 도둑이 특정 입력의 signature를 얻어도 다른 입력으로 전이할 수 없습니다. 부록의 adaptive attack(대리 LSN을 직접 학습)도 실패하는데, 모델이 "인증 manifold에 충분히 가깝지 않으면 warning"이라는 임계(threshold) 행동을 학습해 signature service의 supervision 없이는 재현이 불가능하기 때문입니다.

실험 결과

CelebA·ImageNet의 super-resolution·inpainting·deblurring에서 DDBM-VP/VE·I2SB·DBIM 네 bridge로 검증했습니다. 지표는 Abuse Rate(무단 입력이 고품질로 생성된 비율), FID/PSNR/SSIM(인증 품질), Error Rate(인증인데 warning으로 잘못 막힌 비율)입니다.

• 무단 사용은 단순 품질 저하가 아니라 완전히 다른 warning 이미지를 생성합니다. CelebA에서 모든 경우 AR ≤ 0.06%로 강하게 차단하면서, 인증 품질은 unprotected 대비 소폭 하락에 그쳤고(예: DDBM-VP super-resolution은 SSIM이 오히려 baseline을 소폭 상회), ER도 낮게 유지됐습니다. ImageNet에서도 AR 0%.
• 보안(Table 2, I2SB): static signature는 surrogate 복원 후 AR이 SR 98.52% / inpaint 69.16% / deblur 99.97%로 보호가 완전히 뚫립니다. 반면 sample-specific은 surrogate를 복원해도 AR ≈ 0(SR·inpaint 0%, deblur 0.04%)으로 방어가 유지됐고, surrogate LSN을 학습하는 adaptive attack 역시 warning만 생성하며 실패했습니다.

How much can language models memorize?

TL; DR: 모델이 데이터 포인트 하나에 대해 "아는 양"을 비트(bit) 단위로 정량화하는 방법을 제시하고, 이를 통해 GPT 계열 모델의 capacity가 파라미터당 약 3.6 bits임을 측정했으며, 모델이 capacity를 채우는 순간부터 grokking이 시작되어 generalization으로 전환된다는 것을 보였습니다.

기존 문제: pretrained LM이 학습 데이터를 의미 있게 "암기(memorize)"하는지에 대한 오랜 논쟁이 있어 왔습니다. 하지만 기존 연구들은 주로 extraction(weight로부터 학습 데이터 복원)이나 membership inference(특정 샘플이 학습에 쓰였는지 분류) 관점에서만 접근했고 둘 다 한계가 있습니다. 모델이 어떤 string을 출력했다는 사실이 곧 암기는 아니며(거의 모든 string을 유도할 수 있고, 덧셈처럼 generalization으로도 정답을 낼 수 있음), 단일 데이터 포인트에 대해 모델이 "얼마나 아는지"와 모델 전체 capacity를 원리적(principled)으로 측정하는 방법이 없었습니다.

실험 내용: 데이터 포인트 하나에 대해 모델이 아는 정보량을 추정하는 방법을 제시하고, memorization을 두 구성 요소로 형식적으로 분리합니다.

• unintended memorization: 특정 데이터셋 자체에 대한 정보(샘플 수준 암기).
• generalization: 데이터를 생성하는 실제 분포(true data-generating process)에 대한 정보.
• 정보량은 Kolmogorov complexity(압축 기반)로 정의하되, language modeling과 compression의 duality를 이용해 target model의 negative log likelihood로 압축 길이를 근사합니다.
• generalization을 원천 차단하기 위해 토큰을 균일 분포에서 독립 샘플링한 random bitstring으로 학습합니다(데이터 포인트가 완전 독립이라 generalization 불가 → unintended memorization을 합산해 곧바로 capacity 추정, ground truth 비교 가능).
• 500K~1.5B 파라미터의 GPT-2 아키텍처 transformer 수백 개를 from scratch로 학습하고(layer 18, hidden 32512, bf16/fp32), 이후 합성 데이터를 실제 텍스트(FineWeb, dedup된 64-token 시퀀스)로 바꿔 반복합니다.

왜?

Kolmogorov memorization은 이론적으로 uncomputable이지만 가능한 최선의 압축 스킴으로 근사할 수 있고, Shannon source coding 덕분에 model likelihood가 자연스러운 압축률 추정치가 됩니다. reference model을 두면 generalization으로 설명 가능한 부분을 빼고 순수한 unintended memorization만 instance 수준에서 분리해 측정할 수 있습니다.

실험 결과

GPT 계열 모델은 파라미터당 약 3.6 bits-per-parameter의 capacity를 가집니다(bf16 평균 3.51, fp32 평균 3.83 bpp이며, precision을 2배로 늘려도 capacity는 거의 비례하지 않음). 모델은 capacity가 찰 때까지 데이터를 암기하다가(작은 데이터셋은 완전 암기) capacity에 도달하면 unintended memorization이 plateau에 이릅니다. 데이터셋 크기가 capacity를 초과하는 바로 그 지점에서 grokking이 시작되어, 더 이상 샘플을 개별 암기할 수 없게 된 모델이 비트를 아끼려 데이터 포인트 간 정보를 공유하면서 unintended memorization이 감소하고 generalization으로 전환됩니다(이 시점이 double descent의 시작점과 일치). 또한 model capacity와 dataset size로 membership inference 성능(F1)을 예측하는 sigmoid 형태의 scaling law를 도출했는데, 데이터셋이 클수록 membership inference가 어려워지고 |D|→∞에서 0.5(랜덤 추측)로 수렴하여, tokens-per-parameter가 10² 이상인 현대 LM 대부분에서 평균적 데이터 포인트에 대한 신뢰할 만한 loss-based membership inference가 사실상 불가능함을 시사합니다.

On the Difficulty of Learning a Meta-network for Training Data Selection

TL; DR: 데이터 가중치를 bi-level optimization으로 학습하는 Meta-learning for Training-data Selection(MTS)이 실전에서 자주 실패하는 이유를, selection network의 gradient signal-to-noise ratio(GSNR)가 극단적으로 낮아진다는 점으로 이론 분석해 규명하고, 그 해법이 놀랍게도 "batch size를 키우는 것"임을 증명한 뒤, 분포·학습동역학 기반 informative feature를 더해 합성 데이터 선택에서 일관된 성능 향상을 얻은 연구입니다.

기존 문제: 합성 데이터로 모델을 학습할 때 real data와의 distribution mismatch 때문에 데이터를 무분별하게 쓰면 오히려 성능이 떨어집니다. 대표적 대응책이 각 샘플에 soft weight $w_i = s_\phi(x_i)$를 부여하는 selection network를 bi-level optimization(validation loss를 줄이도록 one-step lookahead로 $\phi$ 업데이트)으로 학습하는 MTS입니다. 그런데 raw image를 입력으로 쓰고 작은 batch로 학습한 naive MTS는 아예 "데이터 선택 없이 학습(No Selection)"조차 못 이깁니다. 저자들은 그 원인을 두 가지로 지목합니다: (1) selection network gradient의 GSNR이 classification network보다 약 한 자릿수 낮고, (2) 입력 feature 자체가 데이터 품질과 잘 상관되지 않습니다.

실험 내용: (이론+실험) 먼저 data weight의 동역학을 분석합니다.

• Data weight가 one-hot으로 붕괴: normalized weight $p_i = w_i/S$($S=\sum_i w_i$)의 "damped ODE"를 분석하면, validation gradient $\bar\gamma$와 각 training gradient $g_i$의 정렬도 $a_i=\bar\gamma^\top g_i$가 가장 큰 dominant index $K$가 모든 질량을 독식하는 winner-takes-most 동역학이 나타납니다(Thm 3.2: $p_K\to1$; $\delta=0$이면 유한 시간, $\delta>0$이면 $1-p_K = O(t^{-1/3})$). 결과적으로 $S$가 작아지고 $p$가 spiky해져 effective batch size가 급감합니다.
• GSNR 저하의 원인과 해법: spiky한 정렬과 작은 $S$가 gradient $\Delta\phi$를 dominant weight $w_K$의 무작위성에 과민하게 만들어 분산을 키운다는 것을 Paley–Zygmund 부등식으로 증명하고, GSNR 상한이 $\lesssim N^4\,\mathbb{E}[S^{-2}] / (G_\text{gap}^2\,\mathbb{E}[S^{-4}\mathbb{1}])$ 형태임을 유도합니다. 여기서 $\mathbb{E}[S]=N\,\mathbb{E}[w_i]$이므로, batch size $N$을 키우면 $S$가 커져 GSNR이 회복됩니다. 즉 이론이 지목한 처방이 "큰 batch"입니다.
• Informative feature 설계: raw 입력만으로는 부족하므로 (i) local(train/val 이웃과의 KNN cosine 유사도, label agreement), (ii) global(class centroid까지의 거리·cosine, 즉 분포 내 typicality), (iii) optimization dynamics(forgetting events, GraNd gradient norm), (iv) class-indicator(class·real/synthetic 학습 임베딩)를 결합합니다.

왜?

GSNR과 feature 품질은 상보적입니다. 좋은 feature는 selection network의 hypothesis space 안에 좋은 해가 존재하도록 보장하고, 높은 GSNR은 그 해를 빠르게 찾게 해줍니다. 그래서 둘을 함께 갖췄을 때만 MTS가 제대로 작동하며, 하나만 개선하면 효과가 미미합니다. dominant weight 하나가 gradient를 지배할수록 $S$가 작아지고 GSNR이 무너지는데, batch를 키우면 이 spiky 동역학이 완화된다는 인과가 이론과 실험(Fig 2·4)에서 일치합니다.

실험 결과

Waterbirds·CelebA·Texture·PACS(12 domain pair) 네 벤치마크에서 ResNet-50 분류기와 3-layer MLP selection network($N=1024$)로 검증했습니다. 제안법은 평균 73.75%로 **No Selection 대비 +5.49%, 최강 baseline(Aux-Clf-Val, hard) 대비 +2.89%**를 달성했습니다. 가장 유사한 MetaWeightNet(batch 64, loss 단일 feature, weight 미정규화)은 평균 +0.62%에 그쳤고, Forgetting·GraNd·CLIP similarity는 오히려 No Selection을 밑돌기도 했습니다. Ablation에서 batch size를 1024→256→64로 줄이면 각각 −1.07%, −2.79% 하락했고, feature를 raw image/ResNet feature/training loss로 바꾸면 −5.55%/−1.95%/−3.90% 하락해 "큰 batch + informative feature" 둘 다 필수임을 확인했습니다. 5-shot validation 같은 극한 설정에서도 No Selection 대비 +3.72%, ViT-B/32 backbone에서도 +5.30%로 architecture-agnostic함을 보였습니다.

WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference

한 줄 요약: 기존 LLM을 "한 토큰씩 찍어내는 방식(자기회귀)" 말고, 디퓨전(점진적 정제) 방식으로 생성하게 바꿔서 추론을 빠르게 만들자. 성능 유지하면서 3~10배 속도 향상을 보고했다.

비유로 풀면:

자기회귀 LLM은 글을 타자 치듯이 한 글자/한 단어씩 순서대로 씁니다. 디퓨전은 조금 다르게, 처음엔 대충 흐릿한 초안을 만들어 놓고 여러 번 훑으면서 선명하게 다듬는 방식에 가깝습니다. 그게 잘 되면 "순서대로 한 칸씩 전진"하는 제약이 줄어들어 속도를 올릴 수 있어요.

왜 중요한가:

• 기존 LLM 구조(특히 causal attention)를 크게 버리지 않으면서도 생성 방식을 바꿔 추론 속도 병목을 정면으로 치는 시도라서 의미가 큽니다.
• 특히 오픈소스 LLM 생태계는 "모델 성능" 못지않게 "서빙 속도"가 경쟁력이라, 파급이 있을 수 있어요.

현실 적용 가능성:

학습 비용이 꽤 들었지만, 성능 저하 없이 속도를 올렸다는 보고가 사실이면 "빠르게 따라 하는 팀"이 생길 만한 종류입니다.

아직 불확실한 점(리스크):

• 디퓨전 생성은 샘플링 스케줄/스텝 수에 따라 품질과 속도가 크게 흔들릴 수 있고
• 특정 작업(긴 문맥, 정밀한 수학/코딩 등)에서 품질 유지가 정말로 범용적인지 추가 확인이 필요합니다.

To Grok Grokking: Provable Grokking in Ridge Regression

TL; DR: Grokking(과적합 이후 한참 뒤에 일반화가 시작되는 현상)이 classic한 over-parameterized linear ridge regression 환경에서도 발생함을 증명하고, gradient descent + weight decay만으로 "조기 과적합 → 장기간 빈약한 일반화 → 결국 임의로 작아지는 일반화 오차"라는 end-to-end grokking을 수학적으로 보인 theory 논문입니다.

기존 문제: Grokking은 과적합이 끝난 한참 뒤에야 generalization이 시작되는 현상으로, Power et al.(2022) 이후 LLM을 포함해 널리 관찰됐지만 엄밀한 이론적 보장을 세운 선행 연구는 거의 없습니다. Lyu et al.(2024)는 lazy-to-rich 전환으로 설명했지만 KKT(Karush-Kuhn-Tucker) point 수렴만 보장할 뿐 global optimality를 논증하지 못했고(따라서 grokking을 증명한 것이 아님), Xu et al.(2024)는 가장 근접했으나 generalization 시작이 GD의 두 번째 iteration보다 더 뒤로 "지연(delayed)"된다는 것은 보이지 못했습니다.

실험 내용: 고전적 ridge regression, 즉 over-parameterized linear regression을 gradient descent + weight decay(ℓ₂ regularization)로 학습하는 teacher-student 세팅에서 grokking을 분석합니다. realizable teacher를 학습할 때 다음 세 단계의 end-to-end grokking을 엄밀히 증명합니다.

• (i) 조기 과적합: training squared loss가 fast convergence rate로 작아져 학습 데이터에 일찍 과적합(Thm 4.4).
• (ii) 지속되는 빈약한 일반화: generalization error의 lower bound가 training error보다 느린 수렴 속도를 가져 과적합 이후로도 한참 일반화가 나쁘게 유지됨(Thm 4.5).
• (iii) 결국 일반화: GD가 결국 generalization 보장이 있는 global minimum에 도달해 일반화 오차가 임의로 작아짐(Thm 4.6).
• hyperparameter 제어: weight decay λ, sample size n, feature dim m, initialization scale ν²를 조정해 grokking을 원칙적으로 증폭·제거할 수 있음을 보입니다.

왜?

핵심 직관은 "training loss와 test loss의 수렴 속도 차이"입니다. 충분히 over-parameterized(m≫n)되고 λ가 작을 때, GD는 데이터가 span하는 subspace 방향(θ∥)으로는 빠르게 업데이트해 학습 데이터를 맞추지만 그 보완 subspace 성분(θ⊥)은 (1−ηλ)^t의 느린 속도로 초기값 근처에 머물러 유해한 과적합을 유발합니다. 시간이 지나면 weight decay가 model class complexity를 줄여 uniform convergence를 보장하고 결국 좋은 일반화로 이어집니다. 작은 λ는 training MSE 수렴엔 거의 영향이 없지만 generalization 수렴은 임의로 느리게 만들 수 있어, m≫n·λ→0 영역에서 grokking이 증명됩니다.

실험 결과

일반화 지연("grokking time", t₂−t₁)에 대해 학습 hyperparameter로 표현된 최초의 엄밀한 정량적 bound를 제시합니다. 이로부터 weight decay를 줄이면 t₂∝1/λ로 grokking time이 늘어나고(λ→0에서 t₂−t₁→∞), sample size n을 줄이면 training 수렴이 빨라져 grokking이 증폭되며, initialization scale ν²를 키우면 t₁·t₂가 동시에 ∝ln(ν²)로 증가하는 등 각 hyperparameter의 영향을 분리 분석합니다. 이 예측은 linear를 넘어 two-layer random ReLU feature network와 비선형 neural net 실험에서도 정성적(그리고 scaling rate 측면에서 정량적)으로 일치했습니다. 결론적으로 grokking은 deep learning에 내재된 실패 양상이 아니라 특정 학습 조건의 결과이며, 이를 피하기 위해 architecture나 algorithm을 근본적으로 바꿀 필요는 없다고 주장합니다.

High-accuracy sampling for diffusion models and log-concave distributions

TL; DR: score만 쓰는 기존 확산 sampling이 SDE discretization 오차 때문에 목표 정확도 δ에 대해 poly(1/δ) step을 요구하던 한계를, 1차(gradient) query만으로 polylog(1/δ) step에 δ 오차를 내는 최초의 high-accuracy sampler(FORS)를 제안해 지수적으로 개선했고, 덤으로 gradient만 쓰는 일반 log-concave 분포의 첫 polylog(1/δ) sampler까지 얻은 이론 논문입니다.

기존 문제: "log-density의 gradient만 볼 수 있을 때, 반복 횟수가 polylog(1/δ)로 스케일하는 sampler를 만들 수 있는가, 아니면 반드시 poly(1/δ)가 드는가?"가 핵심 질문입니다. density(0차) query가 있으면 rejection sampling이나 Metropolis-Hastings 같은 accept-reject 기반 high-accuracy sampler가 많지만, 확산 모델은 score, 즉 gradient만 학습하지 density 자체는 배우지 않습니다.

• gradient만 쓰는 기존 확산 sampler는 대부분 stochastic differential equation의 discretization에 기반하는데, 이 discretization error를 통제해야 해서 high-accuracy 보장이 원천적으로 막힙니다. 최선이 L²-accurate score로 DDPM이 total variation에서 1/δ²(Chen et al 2023, Lee et al 2023)이고, DDPM 자체에는 Ω(1/δ) lower bound가 있어 알고리즘을 바꾸지 않는 한 개선이 불가능합니다.
• higher-order discretization(Huang et al 2025, Li et al 2025)은 C_P·d^{1+1/p}/δ^{1/p}까지 내려 sub-polynomial 의존까지 갔지만, 여전히 원하는 poly-logarithmic에는 한참 못 미치고 C_P가 고차 Lipschitz 상수에 (종종 지수적으로) 의존합니다.
• density(0차) query를 함께 쓰면 high-accuracy가 되지만(Huang et al 2024, Wainwright 2025), 이는 score만 학습하는 실제 확산 모델의 관행과 호환되지 않습니다.
• 그래서 저자들의 질문: 데이터 분포와 score error 양쪽에 최소 가정만 두고, score evaluation만으로 high-accuracy 보장이 가능한가?

실험 내용: (실험이 아니라) FORS라는 meta-algorithm과 그 수렴 보장을 유도합니다.

• First-Order Rejection Sampling(FORS): rejection sampling을 오직 1차 query만으로 시뮬레이션합니다. 핵심은 "Bernoulli factory" 아이디어로, 적분값 f(x)=∫₀ˣ f'(y)dy를 실제로 계산하지 않고도 f'의 unbiased estimate만으로 Ber(c·e^{−f(x)})를 정확히 생성하는 것입니다. e^{𝔼W}을 Taylor 급수로 펼치고 J∼Poisson(2)로 무작위 truncation하면, 편향 없이 accept 확률 ∏(1+W_j)/2를 만들 수 있습니다(Thm 3.1: 샘플 개수는 whp 3Be^{2B}log(2/δ)로 bounded).
• Gaussian tilt subroutine: ν(x)∝exp(−f(x)−‖x−x₀‖²/2η) 형태의 tilt를 f의 1차 Taylor 전개로 Gaussian proposal q=N(x₀−η∇f(x₊),ηI)로 근사하고, tilt 항 W를 [−B,B]로 clip해 bounded estimator를 확보합니다. path integral로 일반화하면 β√(d)η≪1 조건만으로 √d 수준의 개선된 차원 의존을 얻습니다(Thm 3.3).
• Backward diffusion sampling(Algorithm 2): score estimate sₖ가 주어진 backward transition kernel에서의 sampling이 위 Gaussian tilt의 특수 경우임을 보이고, exponential integrator를 적용한 Gaussian을 proposal로 FORS를 매 step 호출합니다.
• intrinsic dimension d_*: 데이터 분포를 covering number로 잰 intrinsic dimension(Li & Yan 2024)에 의존해, embedding dimension d 대신 실제 저차원 구조에 스케일합니다(저차원 manifold나 유한 support, radius R 공 등을 모두 포섭).
• log-concave 연결(Algorithm 3): proximal sampler의 restricted Gaussian oracle(RGO)이 정확히 Gaussian tilt 분포라, RGO step을 FORS로 구현하면 density query 없이 gradient만으로 log-concave·isoperimetric sampling이 됩니다.

왜?

rejection sampling이나 Metropolis-Hastings는 본래 density(0차) query가 있어야 accept 확률을 계산할 수 있는데, 확산 모델은 gradient만 줍니다. Bernoulli factory가 바로 이 간극을 메웁니다: 적분값 f(x)를 몰라도 그 도함수의 unbiased estimate만으로 정확한 accept 확률을 구성할 수 있으므로, SDE를 discretize하지 않고 정확한 target 분포에서 뽑을 수 있습니다. discretization이 없으니 bias가 누적되지 않고, 그래서 poly(1/δ)가 아니라 polylog(1/δ) 수렴이 가능해집니다.

실험 결과

본 논문은 primarily theoretical이며 실험은 없습니다(저자들이 구현과 실험적 검증은 future work로 남긴다고 명시).

• 확산(최소 가정): p_data가 유한한 2차 moment M₂²만 가지면 δ 오차를 O(d_*·log³((d+M₂²)/δ)) query로, C_apx=O(1)에서 달성합니다. 이는 같은 세팅의 기존 Õ(d/δ²)(Benton et al 2024, Conforti et al 2025)와 최근의 Õ(d/δ)(Li & Yan 2025, Jain & Zhang 2026)를 δ 의존에서 지수적으로 개선하고, d 대신 intrinsic dimension d_*에 의존합니다.
• 확산(non-uniform Lipschitz): Frobenius norm 기준 non-uniform Lipschitz 조건 하에서 O(L·log³((d+M₂²)/δ)) step으로 "거의 dimension-free"한 보장을 주고, operator norm 기준으로는 min{√(dL_op), d_*^{2/3}L_op^{1/3}} 수준의 복잡도를 얻습니다.
• log-concave: gradient만으로 Fan et al(2023)의 state-of-the-art를 density query 없이 회복합니다. f가 smooth할 때 log-Sobolev·Poincaré·log-concavity 각각에서, 그리고 f가 Lipschitz일 때에도 polylog(1/ε) query로 high-accuracy(χ²·KL) 보장을 제시하며, 이는 gradient만 쓰는 일반 log-concave 분포에 대한 최초의 polylog(1/δ) sampler입니다.