AI/ML 온디바이스 2026.07.22 ⭐ 7/10
Substratus
Open-source 1-bit LLM serving framework — llama.cpp + BitNet 통합, 단일 GPU에서 70B 1-bit 모델 100 tokens/sec
오픈소스 1-bit LLM 서빙. substratus.cpp. 70B 1-bit을 단일 A100에서 100 tokens/sec.
Open-source 1-bit LLM serving framework — llama.cpp + BitNet 통합, 단일 GPU에서 70B 1-bit 모델 100 tokens/sec
오픈소스 1-bit LLM 서빙. substratus.cpp. 70B 1-bit을 단일 A100에서 100 tokens/sec.