한 줄 명령으로 Llama·Mistral·Gemma 등 오픈소스 LLM을 로컬에서 실행할 수 있는 런타임입니다.
주요 기능
- ✓ 단일 바이너리로 즉시 설치
- ✓ Modelfile 기반 커스텀 모델 패키징
- ✓ OpenAI 호환 로컬 API 서버
- ✓ 수십 종 사전 학습 모델 라이브러리
- ✓ GPU 가속(Metal/CUDA/ROCm) 지원
Topics
local-llm llama mistral runtime cli
O
⭐ Stars
102,500
🍴 Forks
7,900
언어
Go
최근 커밋
2026-07-08
관련 뉴스
company-news TechCrunch AI · 15시간 전
The Zoom hack that says, ‘Don’t record me’
company-news The Decoder · 15시간 전
Zuckerberg's plan to sell excess AI compute could finds its first big customer in Anthropic
company-news TechCrunch AI · 16시간 전