Провайдеры и шлюзы

Cusp общается с моделями по четырём протоколам. Почти любой провайдер, шлюз или локальный сервер поддерживает хотя бы один из них — поэтому одна среда выполнения охватывает так много моделей.

Если провайдер поддерживает несколько протоколов, Cusp выбирает тот, что сохраняет больше всего: Responses для OpenAI и xAI, Messages для Anthropic, Z.ai, Moonshot и MiniMax, generateContent для Gemini.

ПровайдерыСкопировать ссылку на раздел

Прочерк в столбце префикса означает, что формат ключа ничем не выделяется. Cusp всё равно определит провайдера с помощью проверочных запросов или по базовому URL.

Облачные платформыСкопировать ссылку на раздел

Cusp распознаёт их по имени хоста (*.openai.azure.com, bedrock…, aiplatform.googleapis.com) и автоматически учитывает особенности запросов каждой платформы.

ШлюзыСкопировать ссылку на раздел

Шлюз даёт доступ ко многим моделям по одному ключу. Cusp считает каждый шлюз провайдером и читает его список моделей, так что модели выбираются по их идентификатору в шлюзе.

Другие OpenAI-совместимые шлюзы (Portkey, Cloudflare AI Gateway, Helicone и т. д.) работают как пользовательская конечная точка: укажите Cusp базовый URL и дополнительные заголовки, которые нужны шлюзу.

Локальные моделиСкопировать ссылку на раздел

Для локальных сред выполнения ключ не нужен. Из локальных моделей Cusp выбирает самую большую загруженную модель, которая поддерживает вызов инструментов и имеет контекстное окно не меньше 32k.

АвтоопределениеСкопировать ссылку на раздел

Когда вы вставляете ключ — с базовым URL или без него, — Cusp выполняет короткую последовательность шагов:

1. Подсказки. Префикс ключа (sk-ant-, sk-or-, AIza, …) и хост базового URL указывают на провайдера.
2. Проверки. Cusp параллельно отправляет дешёвые запросы без расхода токенов (например, получение списка моделей) по каждому возможному протоколу с тайм-аутом 6 секунд на проверку.
3. Отпечатки. Даже ответ 401 кое-что сообщает: тела ошибок и заголовки выдают провайдера за неизвестным URL.
4. Модели. Список моделей берётся из конечной точки и дополняется данными из встроенного каталога Cusp (контекстное окно, цены, возможности) и публичных источников.
5. Выбор. Cusp выбирает основную модель (с наивысшей агентной оценкой среди моделей с вызовом инструментов) и небольшую модель для вспомогательной работы: заголовков сессий, классификатора режима auto, сжатия контекста и извлечения содержимого веб-страниц.

Любой результат можно переопределить. Автоопределение лишь заполняет конфигурацию; ничего не скрыто.

Адаптеры для семейств моделейСкопировать ссылку на раздел

Протокол — это только половина дела. Модели разных лабораторий обучены на разных соглашениях об инструментах и лучше всего работают, когда harness говорит на их диалекте. Cusp хранит профиль для каждого семейства моделей и подстраивается под него.

Формат правокСкопировать ссылку на раздел

Write доступен всем семействам. Нечёткое сопоставление для Edit проходит по лестнице уровней (точное совпадение, нормализованные пробелы, обрезка, повторный отступ, привязка к блоку) и сообщает, какой уровень сработал, поэтому почти-совпадение не приведёт к незаметной правке не того места.

Передача рассуждений туда и обратноСкопировать ссылку на раздел

Модели с рассуждениями возвращают состояние, которое нужно отправить обратно на следующем ходе: подписи размышлений Anthropic, зашифрованные рассуждения OpenAI, подписи рассуждений Gemini и reasoning_content от DeepSeek, Kimi и GLM. Если его отбросить, у одних провайдеров будут ошибки, а у других — незаметное падение качества. Cusp хранит это состояние непрозрачно вместе с каждым сообщением и воспроизводит его байт в байт для той же модели. Если вы переключаете модель посреди сессии, он отправляет безопасную проекцию и отмечает смену.

Другие адаптацииСкопировать ссылку на раздел

• Имена и описания инструментов. Модели GPT видят update_plan вместо TodoWrite. Хуки и правила разрешений всегда видят каноническое имя.
• Строгие схемы. В OpenAI схемы инструментов отправляются в строгом режиме: необязательные поля становятся допускающими null и затем отображаются обратно.
• Сломанные вызовы инструментов. Открытые модели иногда выдают некорректный JSON или вызовы инструментов, встроенные в текст (разметка Hermes, Qwen, GLM, MiniMax и Kimi). Прежде чем сдаться, Cusp исправляет JSON, приводит типы в соответствие со схемой и извлекает вызовы из текста.
• Параллельные вызовы. Отключаются для сред выполнения, которые их не поддерживают.
• Системные промпты. Динамический контекст помещается туда, где провайдер обрабатывает его лучше всего: системное сообщение посреди разговора для Claude, элемент developer для OpenAI, системное напоминание в остальных случаях.

Кеширование и стоимостьСкопировать ссылку на раздел

Cusp сохраняет системный промпт и список инструментов побайтово неизменными между ходами, чтобы провайдеры могли их кешировать. Он задаёт ключ кеша, который понимает каждый провайдер (prompt_cache_key в OpenAI, id сессии в OpenRouter, заголовок разговора в xAI), и автоматически расставляет точки кеширования Anthropic. Стоимость считается за каждый ход по ценам модели, чтение и запись кеша учитываются отдельно. /cost в CLI показывает накопленную сумму.

Повторные попытки и резервные моделиСкопировать ссылку на раздел

Временные ошибки (лимиты запросов, перегруженные серверы, оборванные потоки) повторяются с нарастающей задержкой, а интерфейс сообщает, что случилось: «Rate limited by Anthropic — retrying in 8 s.» Если запрос не прошёл, потому что конечная точка отвергла параметр, Cusp учится на ошибке и повторяет запрос без него. Можно настроить резервную модель (fallbackModel в настройках); Cusp остаётся на одном маршруте, пока тот работает, чтобы кеш оставался «тёплым».

Переменные окруженияСкопировать ссылку на раздел

CLI и демон берут ключи из этих переменных:

ANTHROPIC_API_KEY  OPENAI_API_KEY      GEMINI_API_KEY     GOOGLE_API_KEY
OPENROUTER_API_KEY AI_GATEWAY_API_KEY  XAI_API_KEY        DEEPSEEK_API_KEY
ZAI_API_KEY        ZHIPU_API_KEY       MOONSHOT_API_KEY   KIMI_API_KEY
MINIMAX_API_KEY    DASHSCOPE_API_KEY   MIMO_API_KEY       MISTRAL_API_KEY
GROQ_API_KEY       CEREBRAS_API_KEY    TOGETHER_API_KEY   FIREWORKS_API_KEY
DEEPINFRA_API_KEY  NOVITA_API_KEY      SILICONFLOW_API_KEY

В десктопном приложении вставленные ключи вместо этого хранятся в системной связке ключей.