ИИ не справляется с защитой сообществ от ИИ — показал разбор Reddit

Даже там, где модераторы онлайн-сообществ активно используют инструменты для выявления ИИ-контента, они всё равно не справляются с масштабом проблемы — показало исследование Cornell и Northeastern. Учёные опросили 15 модераторов Reddit, суммарно управляющих более чем 100 сабреддитами с аудиторией от 10 до свыше 32 миллионов участников.

Авторы описывают ИИ-контент как «тройную угрозу» для сообществ: он снижает качество контента, нарушает социальную динамику и создаёт сложности с самим управлением сообществом. Один из модераторов описал типичный ИИ-пост так: «Пытается соответствовать сути и глубине обычного поста... но в стиле и содержании часто встречаются очевидные ошибки». Другой модератор признал: «Это часто трудно обнаружить, и мы считаем это очень разрушительным». Работа над исследованием началась в 2023 году, вскоре после выхода ChatGPT, и охватила такие сообщества, как r/AskHistorians, r/WritingPrompts и r/explainlikeimfive. Доклад получил специальное упоминание как один из лучших докладов на конференции ACM SIGCHI по компьютерной поддержке совместной работы и социальным вычислениям.

“Мы замечаем очевидное и вычищаем очевидное... но наверняка есть много такого, что мы упускаем.”

— модератор r/news, из интервью исследованию

• Опрошены 15 модераторов, управляющих более чем 100 сабреддитами (от 10 до 32+ млн участников)
• ИИ-контент описан как «тройная угроза»: качество контента, социальная динамика, управление сообществом
• У Reddit свыше 110 млн ежедневных активных пользователей — масштаб делает ручную проверку невозможной

Это исследование напрямую пересекается с тем, что мы уже разбирали: буквально на днях сам Reddit запустил Rules Hub — набор инструментов на базе ИИ для модерации сабреддитов, а параллельно мы писали, как созданная xAI Илона Маска ИИ-энциклопедия Grokipedia месяцами не обрабатывает правки читателей. Общая картина складывается неутешительная: платформы делают ставку на ИИ как на инструмент контроля качества контента, но исследование прямо показывает — сам ИИ одновременно остаётся источником проблемы, которую этот же ИИ пока не способен надёжно решить.

Текст написан в информационных целях и не призывает к конкретным инвестиционным решениям.