コマンド一つで Llama、Qwen、DeepSeek などの大規模モデルをローカルで実行。
LLMKube
Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.
- カテゴリ
- 🤖 AI と検索
- リポジトリ
- defilantech/LLMKube
- スター
- ★ 234
- フォーク
- 41
- 言語
- Go
- ライセンス
- Apache-2.0
- 最終更新
- 2026-10-16
- アクセス数
- 0
DockerGo
関連プロジェクト
オールインワンの AI アプリ。あらゆるドキュメントを LLM に読み込ませてチャットでき、ローカルモデルや多数のベクトルデータベースに対応。
高速で使いやすいオープンソースの検索エンジン。タイプミス耐性と関連度ランキングが最初から使える。
OpenAI 互換のローカル推論サービス。GPU がなくても多様なモデルを実行できる。
User-friendly AI Interface, supports Ollama, OpenAI API.
开源的个人 AI“第二大脑”，可搜索文档与笔记并回答问题。