LocalAI
mudler/LocalAILocalAI — открытый AI-движок с совместимостью OpenAI/Anthropic API. Поддерживает 36+ бэкендов (llama.cpp, vLLM, whisper и др.), работает на CPU и GPU любых производителей. Встроенные агенты, RAG, MCP, мультипользовательский режим и полная приватность данных.
Подключение
git clone https://github.com/mudler/LocalAI.gitREADME
LocalAI — открытый AI-движок. Запускайте любые модели — LLM, зрение, голос, изображения, видео — на любом железе. GPU не требуется.
- Совместимость API — поддержка OpenAI, Anthropic, ElevenLabs API
- 36+ бэкендов — llama.cpp, vLLM, transformers, whisper, diffusers, MLX...
- Любое железо — NVIDIA, AMD, Intel, Apple Silicon, Vulkan или только CPU
- Мультипользовательский режим — аутентификация по API-ключу, квоты пользователей, ролевой доступ
- Встроенные AI-агенты — автономные агенты с вызовом инструментов, RAG, MCP и навыками
- Приватность прежде всего — ваши данные никогда не покидают вашу инфраструктуру
Создан и поддерживается Ettore Di Giacinto.
:book: Документация | :speech_balloon: Discord | 💻 Быстрый старт | 🖼️ Модели | ❓FAQ
Обзор
https://github.com/user-attachments/assets/08cbb692-57da-48f7-963d-2e7b43883c18
Пользователи и аутентификация
https://github.com/user-attachments/assets/228fa9ad-81a3-4d43-bfb9-31557e14a36c
Агенты
https://github.com/user-attachments/assets/6270b331-e21d-4087-a540-6290006b381a
Метрики использования на пользователя
https://github.com/user-attachments/assets/cbb03379-23b4-4e3d-bd26-d152f057007f
Дообучение и квантизация
https://github.com/user-attachments/assets/5ba4ace9-d3df-4795-b7d4-b0b404ea71ee
WebRTC
https://github.com/user-attachments/assets/ed88e34c-fed3-4b83-8a67-4716a9feeb7b
Быстрый старт
macOS
Примечание: DMG-файл не подписан Apple. После установки выполните:
sudo xattr -d com.apple.quarantine /Applications/LocalAI.app. Подробности в #6268.
Контейнеры (Docker, podman, ...)
Уже запускали LocalAI раньше? Используйте
docker start -i local-aiдля перезапуска существующего контейнера.
Только CPU:
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
NVIDIA GPU:
# CUDA 13
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-13
# CUDA 12
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12
# NVIDIA Jetson ARM64 (CUDA 12, для AGX Orin и аналогов)
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-nvidia-l4t-arm64
# NVIDIA Jetson ARM64 (CUDA 13, для DGX Spark)
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-nvidia-l4t-arm64-cuda-13AMD GPU (ROCm):
docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-gpu-hipblasIntel GPU (oneAPI):
docker run -ti --name local-ai -p 8080:8080 --device=/dev/dri/card1 --device=/dev/dri/renderD128 localai/localai:latest-gpu-intelVulkan GPU:
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-gpu-vulkan
Загрузка моделей
# Из галереи моделей (список доступных: `local-ai models list` или https://models.localai.io)
local-ai run llama-3.2-1b-instruct:q4_k_m
# С Huggingface
local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf
# Из реестра Ollama OCI
local-ai run ollama://gemma:2b
# Из YAML-конфига
local-ai run https://gist.githubusercontent.com/.../phi-2.yaml
# Из стандартного OCI-реестра (например, Docker Hub)
local-ai run oci://localai/phi-2:latestАвтоматическое определение бэкенда: LocalAI автоматически определяет возможности вашего GPU и загружает подходящий бэкенд. Расширенные настройки см. в разделе Аппаратное ускорение.
Подробнее см. в руководстве по началу работы.