[!IMPORTANT] :rocket: Gateway 2.0 (Pre-Release) — основной enterprise-шлюз Portkey объединяется с open-source в релизе 2.0. Попробовать pre-release ветку можно здесь. Подробнее о планах Portkey — в анонсе Series A.

🆕 Portkey Models — open-source данные о ценах на 2300+ моделей от 40+ провайдеров. Смотреть →

AI Gateway

Маршрутизация к 250+ LLM через единый быстрый и удобный API

Документация | Enterprise | Облачный шлюз | Changelog | Справочник API

AI Gateway разработан для быстрой, надёжной и безопасной маршрутизации к 1600+ языковым, визуальным, аудио и графическим моделям. Это лёгкое, open-source и enterprise-ready решение, позволяющее подключиться к любой языковой модели менее чем за 2 минуты.

• Молниеносная скорость (задержка <1 мс) при минимальном размере (122 КБ)
• Проверено в бою — более 10 млрд токенов обрабатывается ежедневно
• Готов к enterprise — расширенная безопасность, масштабируемость и кастомные развёртывания

Что можно делать с AI Gateway?

• Подключиться к любому LLM менее чем за 2 минуты — Быстрый старт
• Предотвращать простои с помощью автоматических повторов и fallback-маршрутов
• Масштабировать AI-приложения с балансировкой нагрузки и условной маршрутизацией
• Защищать AI-развёртывания с помощью guardrails
• Выходить за рамки текста с мультимодальными возможностями
• Исследовать интеграции агентных рабочих процессов
• Управлять MCP-серверами с enterprise-аутентификацией и наблюдаемостью через MCP Gateway

[!TIP] Звезда на этом репозитории помогает большему числу разработчиков узнать об AI Gateway 🙏🏻

Быстрый старт (2 минуты)

1. Запустите AI Gateway

# Запуск шлюза локально (требуется Node.js и npm)
npx @portkey-ai/gateway

Шлюз доступен по адресу http://localhost:8787/v1

Консоль шлюза доступна по адресу http://localhost:8787/public/

2. Выполните первый запрос

# pip install -qU portkey-ai

from portkey_ai import Portkey

# OpenAI-совместимый клиент
client = Portkey(
    provider="openai", # или 'anthropic', 'bedrock', 'groq' и т.д.
    Authorization="sk-***" # API-ключ провайдера
)

# Выполнить запрос через AI Gateway
client.chat.completions.create(
    messages=[{"role": "user", "content": "Какая сегодня погода?"}],
    model="gpt-4o-mini"
)

Поддерживаемые библиотеки:   JS   Python   REST   OpenAI SDKs   Langchain   LlamaIndex   Autogen   и другие...