Exécutez Llama, Qwen, DeepSeek et d’autres grands modèles en local avec une seule commande.
LLMKube
Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.
- Catégorie
- 🤖 IA et recherche
- Dépôt
- defilantech/LLMKube
- Étoiles
- ★ 234
- Forks
- 41
- Langage
- Go
- Licence
- Apache-2.0
- Dernière mise à jour
- 2026-10-16
- Visites
- 0
DockerGo
Projets similaires
Application IA tout-en-un : donnez n’importe quel document à un LLM et discutez avec lui, avec prise en charge des modèles locaux et de nombreuses bases vectorielles.
Moteur de recherche open source rapide et simple d’utilisation, avec tolérance aux fautes de frappe et classement par pertinence prêts à l’emploi.
Service d’inférence local compatible OpenAI qui exécute de nombreux types de modèles, même sans GPU.
User-friendly AI Interface, supports Ollama, OpenAI API.
开源的个人 AI“第二大脑”，可搜索文档与笔记并回答问题。