인컨텍스트 검색은 언제 도움이 되는가 — 반성적 추론의 샘플링 복잡도 이론
원제: When Does In-Context Search Help? A Sampling-Complexity Theory of Reflection-Driven Reasoning
확장된 추론으로 LLM을 학습시키면 인컨텍스트 검색(in-context search)이 가능해집니다. 모델이 해법을 생성·비판·수정하는 과정을 반복하는 것이죠. 본 논문은 인컨텍스트 검색의 이론적 분석을 샘플링 복잡도 관점에서 제시합니다.
1. 한줄 요약
인컨텍스트 검색은 언제 도움이 되는가 — 반성적 추론의 샘플링 복잡도 이론 — 상세 리뷰 준비 중. 요약은 summaryKo 필드를 참고하세요.
2. 키워드
- 주제: llm
- 중요도: 6
- 출처: arXiv cs.AI
🚀 이 기술领域의 스타트업
이 논문의 주제(LLM)와 같은 R&D 영역의 미국 스타트업
Anthropic
San Francisco, CA · 2021
**Constitutional AI** — 인간 라벨 대신 '헌장(Constitution)'으로 안전성 자기비판 후 RLHF/RLAIF 학습. Sleeper Agents / Sycophancy 등 안전 연구로 유명. Claude 3.5 Sonnet은 SWE-bench Verified 최고 성능 기록. Claude 4 Opus는 코딩·분석·장문 처리에 강점. AI 안전·해석 가능성(Interpretability) 분야를 최우선으로 투자.
PrismML
Pasadena, California, USA (Caltech 인근 · Caltech 스핀오프) · 2025
**1-bit / Ternary 가중치 압축의 선구주자**. 목적 함수는 모델 크기·복잡도 증가 없이 'intelligence density'(단위 추론당 intelligence)를 질적으로 끌어올리는 것 — 이들이 말하는 'Concentrating intelligence'. 기존 PTQ(Post-Training Quantization) 방식과 달리, 학습 단계부터 1-bit을 first-class로 가정하고 학습하는 full-stack 접근. 1-bit 가중치 세팅에서도 LLM-quality 텍스트 생성을 달성한 최초의 상용 솔루션. Bonsai 시리즈는 27B 같은 대형 모델도 6GB 미만 메모리 footprint로 단일 스마트폰에서 실시간 추론이 가능. 셀룰러 폰에서 27B 추론은 본질적으로 모델 크기와 정확도 trade-off의 종결을 의미.
Cartesia
San Francisco, CA · 2023
State Space Models (S4/Mamba) — **sequence 길이에 linear scaling**, transformer의 quadratic attention 대비 memory·power 효율 압도. Hardware-aware algorithm (kernel fusion, parallel scan, recomputation) 적용. 모듈 SSM + MLP 블록을 통합한 homogeneous architecture. Sonic (TTS) + Ink (STT) + Line (agent platform) + H-Nets (hierarchical 토크나이저 프리) 풀스택. Cloud + On-premise + On-device 동시 배포 (in-region mandatory). 실시간 voice AI 시장을 latency-first로 설계.