Шлюз моделей, система задач и шина сообщений

Реестр и heartbeat

Агент сам регистрирует типы задач, чат-модели и MCP-инструменты при старте. Статус Online, Offline или Starting виден в админке, контейнер перезапускается оттуда же.

Шина с гарантией доставки

Задачи и команды доставляются at-least-once, логи — best-effort. Состояние хранится в PostgreSQL, поэтому перезапуск шины не теряет очередь.

Один процесс для конструктора

No-code агенты исполняет общий харнесс. Он не ходит к базе и векторному индексу напрямую: память, поиск и MCP приходят к нему через платформу с правами собеседника.

Провайдеры и модели

OpenAI, Azure OpenAI, Ollama и любой OpenAI-совместимый API. Модели подтягиваются автоматически, адрес нормализуется с /v1 и без.

• Виды модели: чат, эмбеддинги, транскрипция, мультимодальная, реранк
• Окно контекста и лимиты входа и выхода в карточке модели
• Уровень reasoning задаётся на модели и уточняется клиентом

Все виды вызовов в одном API

Чат со стримингом SSE и нативным tool-calling, эмбеддинги пачкой, транскрипция в json, text, srt и vtt, реранк до 256 документов за вызов.

Доступ к модели

Новая модель закрыта: владелец и список допуска. Выдать её можно сотруднику, группе, подразделению, проекту или всей организации. Выключенная модель исчезает из списка.

Маршрут из узлов

Фильтры на входе убирают модели, которым не подходит запрос: длинный контекст, картинки, инструменты, стрим. Дальше правила сверху вниз — «в группу», «не в группу», «только локально», в том числе по тарифу сотрудника.

Группы и отказоустойчивость

Группа моделей работает по приоритету или по очереди. Запрос уходит в модель со свободным слотом, при сбое повторяется на соседней, а сбойная модель на время выводится из оборота.

Классификатор темы

Узел «Классификатор» на локальной модели относит запрос к категории — код, документы, переписка — и отправляет в целевую группу. Чувствительный запрос остаётся только в локальных моделях вместе со всем чатом.

Перелив с обезличиванием

Если локальная группа занята, запрос переливается во внешнюю модель через privacy-proxy: имена, ИНН, СНИЛС, паспорта и реквизиты заменяются метками, а в ответе метки снова становятся значениями. Нет ответа от обезличивания — запрос остаётся локальным.

Привязка разговора

Чат держится одной модели пула, чтобы не терять кэш промпта. Каждый ход заново проходит правила: если история перестала помещаться, чат переезжает в группу с большим окном.

Проверка и статистика

«Куда уйдёт» показывает путь запроса без вызова модели: текст, агент, сотрудник, тариф и что скроет обезличивание. «Статистика» накладывает реальные вызовы на холст: доли по веткам, p95, ошибки и причины выбора.

Иерархия лимитов

Лимит параллельности на всю инсталляцию, на подключение и на модель. Отдельно — лимит соединений на пару API-токен × модель.

Очередь по приоритетам

Приоритеты по умолчанию: чат 70, агент 50, система 20. Часть слотов зарезервирована под интерактив, а защита от голодания раз в N выдач пропускает фоновую задачу.

Видно, где время

Ожидание в очереди пула и время инференса пишутся раздельно. В «Текущих вызовах» запрос у модели стоит в «Выполняются» с пометкой «ждёт первый токен», а в «Ожидают» — только то, что держит платформа. Карточка вызова показывает, на каком этапе оборвался запрос к модели. SDK сам повторяет запрос при отказе по лимиту.

Асинхронно и синхронно

POST /api/jobs возвращает id сразу. Синхронный invoke ждёт результат с таймаутом. Из кода агента — submit_job, run_job_sync и wait_for_job_result.

Зависимости и время

До 100 предков у задачи, без циклов. Отложенный старт not_before, TTL с переходом в «Истекла», job.defer возвращает задачу в ожидание. Каскадная отмена — по выбору.

Прогресс и параллельность

max_parallel на обработчик, job.report_progress в отдельный поток событий. Повтор при ошибке, несколько реплик одного типа агента.