Это был очередной раунд большого исследования рецензий на научные работы по машинному обучению и одновременно череда самостоятельных экспериментов. Авторы исследования сообщили о своих выводах в работе под названием «Мониторинг ИИ-модифицированного контента в масштабе: Исследование влияния ChatGPT на рецензии на конференциях по искусственному интеллекту».
Исследование было проведено, основываясь на общественном интересе к большим языковым моделям и их обсуждении, которые доминировали в технических дискуссиях в 2023 году.
Как отмечают исследователи в своей работе, различие между человеком и технологией не всегда очевидно, и прошлые попытки разработать автоматизированный способ сортировки написанного человеком текста от «робопрозы» не увенчались успехом. К примеру, OpenAI представила ИИ-классификатор текста для этой цели в январе 2023 года, но через полгода инструмент был закрыт «из-за низкой точности».
Но всё же способ обнаружить «роботекст» был найден, во всяком случае более точный, чем предлагавшиеся ранее. Исследователи сосредоточилось не на изучении целых документов, абзацев или предложений, а сконцентрировались на плотности прилагательных.
Авторы взяли два набора данных, — один, написанный людьми, а второй — ИИ. И изучили эти два массива текста на предмет частоты употребления конкретных прилагательных.
Оказалось, что ИИ «очень любит» прилагательные. В машинных работах превалировали такие прилагательные, как «похвальный», «инновационный» и «всеобъемлющий». Такие прилагательные ChatGPT использовал чаще, чем люди.
«Все наши расчёты зависят только от прилагательных, содержащихся в каждом документе. Мы обнаружили, что такой выбор словаря демонстрирует большую стабильность, чем использование других частей речи, таких как наречия, глаголы, существительные или все возможные лексемы», — рассказали учёные в отчёте исследования.
