MiniMax заподозрили в обучении M3.1 Flash на закрытых вопросах бенчмарка
Модель MiniMax M3.1 Flash быстро вышла в лидеры нескольких ИИ-бенчмарков, но её результаты вызвали вопросы у исследователей. Неподтверждённая теория предполагает, что модель могли специально обучать на запросах закрытого теста Artificial Analysis.
Китайскую компанию MiniMax заподозрили в том, что её языковая модель M3.1 Flash могла быть специально дообучена на закрытых вопросах бенчмарка AA-Omniscience от Artificial Analysis. Это лишь неподтверждённая теория, а публичных доказательств нарушения правил оценки пока нет. Однако обсуждение вновь поднимает проблему «натаскивания» ИИ на тесты вместо улучшения его реальных универсальных способностей.
Поводом стали необычно высокие позиции MiniMax M3.1 Flash в ряде рейтингов. Модель содержит 428 млрд параметров, из которых активны 23 млрд. Стоимость обработки составляет $0,15 за 1 млн входных токенов и $0,60 за 1 млн выходных токенов. При таких ценах она лидирует как минимум в трёх распространённых тестах для агентных сценариев: Automation Bench, Banker ToolBench и LOCA-Bench-256K.
В Artificial Analysis Intelligence Index M3.1 Flash получила 42 балла — на 13 пунктов больше, чем MiniMax M3, и примерно на уровне GLM-5.3-Flash. Именно этот заметный скачок стал одной из причин пристального внимания к результатам модели.
Почему вопросы AA-Omniscience важны
Тест AA-Omniscience включает около 6 000 заданий, но публично раскрыты только 600 из них. Остальные вопросы не публикуются, поэтому бенчмарк считается сравнительно устойчивым к прямому обучению на тестовом наборе. Если разработчик заранее получает доступ к закрытым формулировкам и ответам, итоговый балл перестаёт отражать способность модели рассуждать на новых задачах.
Согласно обсуждаемой гипотезе, MiniMax могла увидеть запросы оценщиков во время проверки предыдущей модели M3. Это теоретически возможно в ситуации, когда модель доступна только через API: оператор инфраструктуры инференса получает сами промпты, отправленные на его конечную точку.
Хронология в данном случае привлекла внимание исследователей. MiniMax представила M3 через API 1 июня, результаты её оценки Artificial Analysis появились 4 июня, а веса модели были опубликованы лишь 12 июня. Закрытые запросы AA-Omniscience могут выделяться среди обычных пользовательских обращений, поэтому их, в теории, можно было идентифицировать и отдельно обработать. Всё это не подтверждает факт сбора данных, но описывает возможный механизм такой атаки на независимую оценку.
Эксперимент с изменённым вопросом
ИИ-исследователь под псевдонимом Binkg сообщил о собственном наблюдении. Он взял один из опубликованных вопросов AA-Omniscience и слегка изменил его так, чтобы правильный ответ стал другим, хотя сама формулировка оставалась похожей. По его словам, другие модели справились с изменением, тогда как M3.1 Flash выдала исходный ответ из бенчмарка.
Такое поведение может указывать на запоминание конкретного задания, а не на полноценный разбор новой версии вопроса. Но одного подобного примера недостаточно для окончательного вывода: требуются повторяемые эксперименты на большем наборе задач, проверка методики и комментарии самой MiniMax.
Artificial Analysis на момент обсуждения не публиковала позицию по этим подозрениям. История показывает, что сравнивать языковые модели только по местам в таблицах бенчмарков рискованно. Для пользователей, выбирающих ИИ для агентных рабочих процессов, не менее важны независимые практические проверки, стоимость запросов, стабильность ответов и качество работы на незнакомых задачах.
