장기 툴 사용 에이전트 작업을 위한 효율적 강화학습

1. 한줄 요약

장기(long-horizon) 툴 사용 에이전트 RL 학습을 위한 모듈형 시스템 SINKFLEX-RL 제안. Gymnasium 환경 래퍼·VERL 스타일 rollout·그룹 상대 정책 최적화(GRPO)·attention sink normalization을 결합해, 학습 토큰 1/4.5로 7개 agentic benchmark 평균 +13.4%p.

2. 왜 등장했는가 (Background)

2024~2026년 LLM 에이전트 RL(예: ToolLLM·SWE-Agent RL·ReST-T5)은 Salesforce CRMArena·τ-bench·SWE-bench 등에서 성과를 입증했습니다. 그러나 한계가 명확합니다:

Long context: 툴 호출 + 환경 state + 지시문 합쳐 30K~200K 토큰
Delayed reward: 에이전트가 10~50 step을 거친 후에야 verifier reward 발생
On-policy sample inefficiency: 매 rollout마다 GPU forward 비효율
Attention sink: 모델별·layer별 attention sink token 위치가 달라 mask 재설계 필요

현실 기업이 RL 에이전트를 학습하려 할 때 이 네 가지가 동시에 막혀, 사실상 불가능했습니다.

3. 핵심 아이디어

네 가지 핵심 모듈:

Modular Gym Wrapper: 환경(API server·simulator·DB)을 단일 Gymnasium interface로 정규화 → 어떤 agent든 plug-in
Off-policy + VERL-style rollout: trajectory를 advance step 단위로 점진 rollout, long-context mask recompute 회피
Sink-Normalized Attention: 학습 중 attention sink token의 위치를 layer별로 자동 정규화 → 다른 base model에서도 동일 mask 재사용
Group-Relative Policy Optimization (GRPO) without separate value model: 8개 rollout의 relative advantage로 critic-free 학습

비유: 기존 RL 에이전트 학습이 "매번 주방을 새로 짓는 것"이었다면, SINKFLEX-RL은 "냉장고·오븐·도마를 모듈로 준비한 주방 키트".

4. Model Architecture

Policy model: Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Phi-3-Medium
Rollout engine: VERL + SinkFLEX rewriter (mask 자동 추정)
Reward channel: (a) verifiable rule-based (SQL 정확도, 코드 테스트 통과), (b) LLM-as-judge (formatting)
Tool environment: seed.tools 호환 — 30여 개 REST API, 5개 simulator, 2개 SQL DB

5. Training & Data

Trajectories: 50K synthetic (~ GPT-4o self-play) + 8K human-annotated
환경: τ-bench retail·airline, CRMArena, SWE-bench Verified, ToolBench, MINT(텍스트), NL2Bash, ALFWorld
하이퍼: lr 5e-6, batch 32, group 8, KL coef 0.04, 3 epoch
하드웨어: 8×H100 80GB, 32h wall-clock (Qwen2.5-7B 기준)

6. Result

7개 benchmark 평균 (Qwen2.5-7B):

τ-bench retail: 38.2% → 58.9% (+20.7%p)
CRMArena: 41.5% → 53.8% (+12.3%p)
SWE-bench Verified: 12.4% → 23.1% (+10.7%p)
ToolBench: 49.6% → 58.2% (+8.6%p)
NL2Bash: 64.1% → 72.0% (+7.9%p)
평균 보상: 0.41 → 0.58
학습 비용: 토큰 35B → 7.8B (4.5배↓)
Wall-clock: 142h → 32h (4.4배↓)

7. 한국 독자 적용 사례

삼성SDS·LG CNS: 기업 IT 헬프데스크 자동화(CRMArena 유사) RL 학습 — 4.5배 적은 GPU 비용
카카오·네이버 CS 챗봇: 장기 멀티툴 상담 (계좌 조회+결제+문의) RL fine-tuning
토스·카카오뱅크: SQL 자연어 인터페이스 강화학습, banking-tool-use 정밀도↑
스타트업: 8×H100 미만 인프라에서도 agentic RL PoC 가능 (Qwen2.5-7B 32h)
국방·공공: 다단계 민원 처리 자동화

8. 한계 + 후속 영향

한계:

Synthetic trajectory의 quality가 human-annotated와 threshold 5%p 차이
Verifiable reward가 정의 어려운 task(글쓰기·상담 공감)에는 적용 어려움
Sink-Normalized Attention이 13B 이상 모델에서는 추가 검증 필요

후속 영향:

VERL·OpenRLHF·tulu-3-RL 같은 에이전트 RL 프레임워크의 후속 설계 청사진
기업 agentic RL 진입 장벽을 1/4.5로 낮춤 → 한국·동남아·중남미 기업의 자체 LLM 에이전트 학습 가속화
Agentic foundation model 자체(DeepSeek-R1·QwQ 스타일)에 long-horizon RL 파이프라인 적용 표준화
AutoML·AI4Science 분야 multi-step scientific tool-use RL로 확장