Ваш «Claude» или GPT настоящий? Как распознать подмену модели

Что такое «подмена» и «даунгрейд»#

• Подмена модели: вы просите топовую модель, релей отдаёт дешевле.
• Квантизация/даунгрейд: то же семейство, но менее точный или дистиллированный вариант, который хуже рассуждает.
• Обрезка контекста: ваш длинный промпт тихо режется, и recall падает.
• Тихий дрейф: при регистрации всё хорошо, затем деградирует, когда вы уже привязались.

Почему «какая ты модель?» не работает#

Просьба к модели представиться легко подделывается — релей может подставить любой системный промпт или переписать ответ. Подмену нельзя поймать вопросом; её ловят проверкой способностей и сравнением с эталоном.

Метод#

1. Зафиксируйте набор проб. Многошаговое рассуждение, recall «иголки» в длинном контексте, строгий JSON и поведение при отказе.
2. Зафиксируйте параметры. temperature=0, тот же max_tokens, тот же системный промпт — уберите случайность.
3. Измерьте. p50/p95 задержку и долю ошибок за несколько прогонов.
4. Сравните с официальным API. Те же пробы, те же параметры, в тот же день.
5. Перезапускайте еженедельно. Тихий даунгрейд случается со временем, а не в первый день.

# Проверяем СПОСОБНОСТИ, а не "какая ты модель?" (это легко подделать).
# Ставим temperature=0 и сравниваем вывод с официальным API.
from openai import OpenAI

client = OpenAI(base_url="https://daoxe.com/v1", api_key="ВАШ_КЛЮЧ_DAOXE")
probe = "Верни только JSON: {\"sum\": <2147483647 + 1>}"
r = client.chat.completions.create(
    model="ТОЧНЫЙ_ID_МОДЕЛИ",
    temperature=0,
    max_tokens=32,
    messages=[{"role": "user", "content": probe}],
)
print(r.choices[0].message.content)  # сравните между провайдерами / во времени

Чек-лист тревожных признаков#

• Качество на сложных рассуждениях ниже, чем у официального API при temperature=0.
• Recall длинного контекста падает там, где официальная модель справляется (возможна обрезка).
• Учёт токенов выглядит неправдоподобно низким для выданного объёма.
• Задержка и поведение резко меняются спустя недели после регистрации.
• Провайдер уходит от вопроса о бенчмарке.

Почему DaoXE проходит этот тест#

• Открытый воспроизводимый бенчмарк, который можно направить на DaoXE и официальный API.
• Список моделей по аккаунту /v1/models — что видите, то и вызываете.
• Нативный Anthropic Messages, поэтому Claude ведёт себя как Claude (инструменты, стриминг).
• Прозрачный расход по моделям, который можно сверить.

Частые вопросы#