Execute Llama, Qwen, DeepSeek e outros grandes modelos localmente com um único comando.
LLMKube
Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.
- Categoria
- 🤖 IA e busca
- Repositório
- defilantech/LLMKube
- Estrelas
- ★ 234
- Forks
- 41
- Linguagem
- Go
- Licença
- Apache-2.0
- Última atualização
- 2026-10-16
- Visitas
- 0
DockerGo
Projetos semelhantes
Aplicativo de IA tudo-em-um: entregue qualquer documento a um LLM e converse com ele, com suporte a modelos locais e vários bancos de dados vetoriais.
Mecanismo de busca de código aberto rápido e fácil de usar, com tolerância a erros de digitação e classificação por relevância prontas para uso.
Serviço de inferência local compatível com OpenAI que executa vários tipos de modelos mesmo sem GPU.
User-friendly AI Interface, supports Ollama, OpenAI API.
开源的个人 AI“第二大脑”，可搜索文档与笔记并回答问题。