Чатбот на базе MCP

(English | 中文 | 日本語)

Введение

👉 Человек: Дай ИИ камеру vs ИИ: Мгновенно выясняет, что владелец не мыл голову три дня【bilibili】

👉 Сделай свою AI-подругу своими руками, руководство для начинающих【bilibili】

XiaoZhi — голосовой AI-чатбот, использующий возможности больших языковых моделей (Qwen / DeepSeek) и обеспечивающий управление несколькими устройствами через MCP-протокол.

Примечания к версиям

Текущая версия v2 несовместима с таблицей разделов v1, поэтому обновление с v1 до v2 через OTA невозможно. Подробнее о таблице разделов см. partitions/v2/README.md.

Всё оборудование с v1 можно обновить до v2, вручную прошив прошивку.

Стабильная версия v1 — 1.9.2. Переключиться на v1 можно командой git checkout v1. Ветка v1 будет поддерживаться до февраля 2026 года.

Реализованные функции

• Wi-Fi / ML307 Cat.1 4G
• Офлайн-распознавание голоса ESP-SR
• Поддержка двух протоколов связи (Websocket или MQTT+UDP)
• Аудиокодек OPUS
• Голосовое взаимодействие на основе потоковой архитектуры ASR + LLM + TTS
• Распознавание говорящего, идентификация текущего пользователя 3D Speaker
• OLED / LCD дисплей с поддержкой отображения эмодзи
• Отображение заряда батареи и управление питанием
• Поддержка нескольких языков (китайский, английский, японский)
• Поддержка платформ ESP32-C3, ESP32-S3, ESP32-P4
• MCP на стороне устройства для управления периферией (динамик, LED, сервопривод, GPIO и др.)
• MCP на стороне облака для расширения возможностей больших моделей (управление умным домом, работа с рабочим столом ПК, поиск по базе знаний, электронная почта и др.)
• Настраиваемые слова-триггеры, шрифты, эмодзи и фоны чата через онлайн-редактор (Custom Assets Generator)

Оборудование

DIY на макетной плате

См. руководство в документе Feishu:

👉 «Энциклопедия AI-чатбота XiaoZhi»

Демонстрация на макетной плате:

Поддержка 70+ устройств с открытым исходным кодом (частичный список)

• Отладочная плата LiChuang ESP32-S3
• Espressif ESP32-S3-BOX3
• M5Stack CoreS3
• M5Stack AtomS3R + Echo Base
• Magic Button 2.4
• Waveshare ESP32-S3-Touch-AMOLED-1.8
• LILYGO T-Circle-S3
• XiaGe Mini C3
• CuiCan AI Pendant
• WMnologo-Xingzhi-1.54TFT
• SenseCAP Watcher
• Бюджетный робопёс ESP-HI

Программное обеспечение

Прошивка устройства

Начинающим рекомендуется использовать готовую прошивку, не требующую настройки среды разработки.

Прошивка подключается к официальному серверу, для использования необходима регистрация аккаунта.