메타의 LLaMA 모델을 CPU·저사양 GPU에서도 돌리게 만든 C/C++ 추론 엔진의 표준입니다.
주요 기능
- ✓ 4/5/8비트 양자화로 경량 추론
- ✓ Apple Silicon·CUDA·Vulkan 가속
- ✓ GGUF 단일 파일 모델 포맷
- ✓ Python·Node·Go 바인딩 제공
- ✓ 수십 종 모델 생태계의 기반
Topics
llama inference gguf cpp edge
L
⭐ Stars
78,500
🍴 Forks
11,200
언어
C++
최근 커밋
2026-07-08
관련 뉴스
company-news TechCrunch AI · 15시간 전
The Zoom hack that says, ‘Don’t record me’
company-news The Decoder · 15시간 전
Zuckerberg's plan to sell excess AI compute could finds its first big customer in Anthropic
company-news TechCrunch AI · 16시간 전