एक ही कमांड से Llama, Qwen, DeepSeek जैसे बड़े मॉडल अपनी मशीन पर चलाएँ।
LLMKube
Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.
- श्रेणी
- 🤖 AI और सर्च
- रिपॉज़िटरी
- defilantech/LLMKube
- स्टार
- ★ 234
- फ़ोर्क
- 41
- भाषा
- Go
- लाइसेंस
- Apache-2.0
- अंतिम अपडेट
- 2026-10-16
- विज़िट
- 0
DockerGo
मिलते-जुलते प्रोजेक्ट
ऑल-इन-वन AI ऐप: किसी भी दस्तावेज़ को LLM को दें और उससे चैट करें, लोकल मॉडल और कई वेक्टर डेटाबेस का समर्थन।
तेज़, आसान ओपन-सोर्स सर्च इंजन, तुरंत उपयोग योग्य टाइपो सहनशीलता और प्रासंगिकता रैंकिंग के साथ।
OpenAI-संगत लोकल इन्फ़रेंस सेवा, GPU के बिना भी कई तरह के मॉडल चला सकती है।
User-friendly AI Interface, supports Ollama, OpenAI API.
开源的个人 AI“第二大脑”，可搜索文档与笔记并回答问题。