AI/ML 온디바이스 2026.07.21 ⭐ 9/10
MLC AI
온디바이스 LLM 컴파일러 — Apache TVM 기반. LLaMA·Phi-3·Mistral·Qwen 모델을 4-bit/8-bit으로 변환, iOS·Android·Apple Silicon·Raspberry Pi·브라우저 WebGPU에 배포.
클라우드 없이 폰·노트북·브라우저에서 LLM 추론을 가능하게 하는 컴파일 스택. WebLLM(브라우저 내 LLM), iOS chatLLM, Android MLC Chat이 대표 제품. Llama-3-8B 4-bit 양자화 + Vulkan 백엔드로 30 tokens/sec (Galaxy S25 Exynos 2400). 2025년 12월 Steam Deck·Vision Pro 지원 추가 발표.