GaiaNet Node
GaiaNet-AI/gaianet-nodeGaiaNet Node позволяет установить, настроить и запустить децентрализованный AI-агент сервис. Подходит для разработчиков, желающих развернуть собственную LLM-инфраструктуру с поддержкой RAG, векторных баз данных и кастомных моделей.
Подключение
git clone https://github.com/GaiaNet-AI/gaianet-node.gitREADME
Запустите собственный узел GaiaNet
Japanese(日本語) | Chinese(中文) | Korean(한국어) | Turkish (Türkçe) | Farsi(فارسی) | Arabic (العربية) | Indonesia | Russian (русскийة) | Portuguese (português) | Помогите нам перевести этот README на ваш родной язык.
Понравился проект? ⭐ Поставьте звезду!
Смотрите официальную документацию и книгу Manning о настройке open-source моделей.
Быстрый старт
Установите стандартный стек программного обеспечения узла одной командой на Mac, Linux или Windows WSL.
curl -sSfL 'https://github.com/GaiaNet-AI/gaianet-node/releases/latest/download/install.sh' | bashЗатем следуйте инструкциям на экране для настройки переменных окружения. Команда начнётся с
source.
Инициализируйте узел. Будут загружены файлы модели и векторной базы данных, указанные в $HOME/gaianet/config.json. Это может занять несколько минут из-за большого размера файлов.
gaianet init
Запустите узел.
gaianet start
Скрипт выведет официальный адрес узла в консоль:
... ... https://0xf63939431ee11267f4855a166e11cc44d24960c0.us.gaianet.network
Откройте этот URL в браузере, чтобы просмотреть информацию об узле и пообщаться с AI-агентом.
Чтобы остановить узел, выполните:
gaianet stop
Руководство по установке
curl -sSfL 'https://raw.githubusercontent.com/GaiaNet-AI/gaianet-node/main/install.sh' | bash[+] Downloading default config file ...
[+] Downloading nodeid.json ...
[+] Installing WasmEdge with wasi-nn_ggml plugin ...
Info: Detected Linux-x86_64
Info: WasmEdge Installation at /home/azureuser/.wasmedge
Info: Fetching WasmEdge-0.13.5
/tmp/wasmedge.2884467 ~/gaianet
######################################################################## 100.0%
~/gaianet
Info: Fetching WasmEdge-GGML-Plugin
Info: Detected CUDA version:
/tmp/wasmedge.2884467 ~/gaianet
######################################################################## 100.0%
~/gaianet
Installation of wasmedge-0.13.5 successful
WasmEdge binaries accessible
The WasmEdge Runtime wasmedge version 0.13.5 is installed in /home/azureuser/.wasmedge/bin/wasmedge.
[+] Installing Qdrant binary...
* Download Qdrant binary
################################################################################################## 100.0%
* Initialize Qdrant directory
[+] Downloading the rag-api-server.wasm ...
################################################################################################## 100.0%
[+] Downloading dashboard ...
################################################################################################## 100.0%По умолчанию установка выполняется в директорию $HOME/gaianet. Можно указать альтернативную директорию:
curl -sSfL 'https://raw.githubusercontent.com/GaiaNet-AI/gaianet-node/main/install.sh' | bash -s -- --base $HOME/gaianet.altИнициализация узла
gaianet init
[+] Downloading Llama-2-7b-chat-hf-Q5_K_M.gguf ...
############################################################################################################################## 100.0%############################################################################################################################## 100.0%
[+] Downloading all-MiniLM-L6-v2-ggml-model-f16.gguf ...
############################################################################################################################## 100.0%############################################################################################################################## 100.0%
[+] Creating 'default' collection in the Qdrant instance ...
* Start a Qdrant instance ...
* Remove the existed 'default' Qdrant collection ...
* Download Qdrant collection snapshot ...
############################################################################################################################## 100.0%############################################################################################################################## 100.0%
* Import the Qdrant collection snapshot ...
* Recovery is done successfullyКоманда init инициализирует узел согласно файлу $HOME/gaianet/config.json. Можно использовать готовые конфигурации. Например, следующая команда инициализирует узел с моделью llama-3 8B и путеводителем по Лондону в качестве базы знаний:
gaianet init --config https://raw.githubusercontent.com/GaiaNet-AI/node-configs/main/llama-3-8b-instruct_london/config.jsonЧтобы просмотреть список готовых конфигураций, выполните gaianet init --help. Помимо готовых конфигураций, таких как gaianet_docs, можно передать URL собственного файла config.json.
Если узел установлен в альтернативную директорию:
gaianet init --base $HOME/gaianet.alt
Запуск узла
gaianet start
[+] Starting Qdrant instance ...
Qdrant instance started with pid: 39762
[+] Starting LlamaEdge API Server ...
Gaianet node started with pid: 39796После запуска узел доступен по адресу, указанному в конфигурации. Можно открыть браузер и перейти по этому адресу для взаимодействия с AI-агентом.
Если узел установлен в альтернативную директорию:
gaianet start --base $HOME/gaianet.alt
Настройка системного промпта
Отредактируйте поле system_prompt в файле $HOME/gaianet/config.json.
Настройка контекстного окна
Отредактируйте поле context_size в файле $HOME/gaianet/config.json.
Остановка узла
gaianet stop
[+] Stopping WasmEdge, Qdrant and frpc ...
Если узел установлен в альтернативную директорию:
gaianet stop --base $HOME/gaianet.alt
Обновление конфигурации
С помощью подкоманды gaianet config можно обновлять ключевые поля файла config.json. После изменения конфигурации необходимо повторно выполнить gaianet init и gaianet start.
Например, чтобы изменить поле chat на другую LLM:
gaianet config --chat-url https://huggingface.co/second-state/Llama-2-13B-Chat-GGUF/resolve/main/Llama-2-13b-chat-hf-Q5_K_M.ggufЧтобы изменить размер контекстного окна для поля chat:
gaianet config --chat-ctx-size 6144
Чтобы просмотреть все доступные опции:
gaianet config --help