대형 언어 모델의 불확실성 신호로서의 어텐션 경로 취약성

1. 한줄 요약

LLM의 불확실성(uncertainty)을 어텐션 경로의 안정성으로 측정하는 학습-free 추정기 ASMI(Attention-Subnetwork Mutual Information) 제안. Head masking으로 부분 망을 만들고 BALD 상호정보량을 측정, 기존 output confidence와는 독립적인 신호로 hallucination·grounded QA·환각률 18%↓.

2. 왜 등장했는가 (Background)

LLM hallucination 감지는 confidence 기반 접근이 표준입니다.

Output entropy / max prob: 모델이 "그럴듯하게" 거짓말을 해도 자신감 높으면 놓침
Self-consistency: 다수결이라 latency·비용↑
Black-box probe: 모델 내부 신호 무시

최근 mechanistic interpretability 연구는 LLM 내부의 어텐션 헤드별·서브네트워크 기능 분화를 보였습니다. 일부 헤드는 중요한(fragile) 경로, 일부는 redundant 경로. 본 논문은 모델이 동의하는 정도 ≠ 모델이 실제 확신하는 정도라는 점을 정량화합니다.

3. 핵심 아이디어

ASMI(Attention-Subnetwork Mutual Information):

Mask k개 attention head (서로 다른 subset) → k개의 부분 망 생성
각 부분 망의 prediction을 모음
BALD(Bayesian Active Learning by Disagreement) 상호정보량 계산
단, 동의가 단순 lexical 일치가 아니라 semantic agreement kernel(DeBERTa-large embedding 코사인)로 측정

해석: 어텐션 경로가 fragile → 모델이 단일 패턴에 과의존 → hallucination 위험↑. ASMI가 높으면 multiple consistent reasoning paths 존재 → 확신.

ASMI(x) = I(Y; theta | x) approximated via
    mean_kl( p_avg(y|x) || p_k(y|x| mask_k) )

4. Model Architecture

Target LLM: Llama-3.1-8B, Mistral-7B, Qwen2.5-14B, Gemma-2-9B, GPT-4o (API)
Head masking strategy: 8개 random subsets, 각 12.5% head drop (16/128 heads), 5회 평균
Semantic agreement kernel: DeBERTa-large + LR scheduler — paraphrase 시 0.9, 무관 시 0.1
No training: ASMI는 학습-free, target LLM의 forward만 사용

5. Training & Data

평가 데이터: TriviaQA·Natural Questions·HotpotQA (grounded QA), TruthfulQA·HHH·HaluEval (hallucination), GSM8K (math)
Baselines: max softmax, entropy, semantic entropy (Kuhn 2023), self-consistency (5-sample)
평가자: AUROC for hallucination detection, calibration error (ECE)
Cost: 8 masking × 1 forward = 8× compute, but 1k query당 3.5s 추가 (acceptable)

6. Result

평균 (5 LLM, 6 dataset):

Hallucination detection AUROC: max-softmax 0.71, semantic entropy 0.79, ASMI 0.84
ECE (calibration): 0.18 → 0.11 (output entropy + ASMI 결합)
Grounded QA abstention: precision@95% recall 0.74 → 0.82 (false answers 18%↓)
Latency overhead: 8-mask 가중 평균 1.4s (Llama-3.1-8B, A100)
트레이드오프: masking 4 → 8 → 16일 때 AUROC 0.78 → 0.84 → 0.86 (수확 체감)

7. 한국 독자 적용 사례

한국어 RAG 시스템: HyperCLOVA-X·Kanana-Large가 retrieved context + 자체 지식 충돌 시 ASMI가 어느 시점에 확신 약해지는지 표시 → 환각 알림
민감 도메인 챗봇: 의료·법률·금융 챗봇에서 "정확한 답변 권고 vs '잘 모르겠다' 안내" 판단 자동화
한국어 TruthfulQA: 한국어 버전 TruthfulQA-Ko 벤치마크에서 hallucination 측정 baseline
LLM-as-judge 평가: 다른 모델 평가를 LLM에 맡길 때 judge 신뢰도 점수 산출
한국어 모델 해석 가능성: HyperCLOVA·EXAONE의 head별 기능 분화 분석 도구

8. 한계 + 후속 영향

한계:

8× forward cost으로 inference latency 1.4s↑ — 실시간 응답 어려운 경우
Semantic agreement kernel(DeBERTa)이 다국어에서 한국어 paraphrase 감도 약함
Closed 모델(GPT-4o)에서는 head masking이 불가능, 내부 정보 제한
MoE 모델에서는 routing activation까지 고려해야 의미 있음

후속 영향:

Hallucination detection AUROC 0.71 → 0.84는 실무 적용 임계점 돌파 — RAG·Tool-use 에이전트의 신뢰도 계층 구축
한국어 LLM의 red-teaming·safety 평가에서 third-party calibration 도구로 활용
LLM의 "self-knowledge" — 모델이 자기 능력의 한계를 아는 self-aware AI 연구 가속
Anthropic·OpenAI 등 frontier 모델의 interpretability 팀에 새로운 평가 metric 제공