Запускайте Llama, Qwen, DeepSeek и другие большие модели локально одной командой.
LLMKube
Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.
- Категория
- 🤖 ИИ и поиск
- Репозиторий
- defilantech/LLMKube
- Звёзды
- ★ 234
- Форки
- 41
- Язык
- Go
- Лицензия
- Apache-2.0
- Последнее обновление
- 2026-10-16
- Переходы
- 0
DockerGo
Похожие проекты
Универсальное ИИ-приложение: загрузите любой документ в LLM и общайтесь с ним; поддерживаются локальные модели и множество векторных баз.
Быстрый и простой open-source поисковый движок: устойчивость к опечаткам и ранжирование по релевантности из коробки.
OpenAI-совместимый локальный сервис инференса, запускающий множество моделей даже без GPU.
User-friendly AI Interface, supports Ollama, OpenAI API.
开源的个人 AI“第二大脑”，可搜索文档与笔记并回答问题。