노트북·데스크톱 CPU에서도 10여 종 오픈소스 LLM을 대화형으로 실행할 수 있는 런타임입니다.
주요 기능
- ✓ Python·TypeScript·C++ SDK 동시 제공
- ✓ 로컬 문서·데이터 인덱싱 내장
- ✓ 메타데이터 추적 가능한 로컬 DB
- ✓ Nomic Atlas와 통합 가능
- ✓ GPU 없이도 동작하는 CPU 최적화
Topics
local-llm desktop quantized privacy
노트북·데스크톱 CPU에서도 10여 종 오픈소스 LLM을 대화형으로 실행할 수 있는 런타임입니다.