Текст, написанный нейросетью: учимся отличать сгенерированный текст

Нейросети могут приврать и даже дать интервью за Шумахера. На глаз определить такой текст сложно: большинство американцев не могут отличить сгенерированный текст от человеческого, особенно это касается статей о здоровье.

Технологии нейросетей развиваются быстрее, чем инструменты их распознавания, но тех, кто знаком с ИИ, обмануть сложнее. Расскажем, на что обращать внимание в тексте, чтобы научиться противостоять машинам.

Опечатки и ошибки

В сгенерированном тексте редко встречаются ошибки, поэтому проблемы с орфографией скорее признак того, что текст создан человеком. В русском языке ChatGPT допускает стилистические неточности: может использовать неподходящее слово или поставить существительное в неправильный падеж.

С диктантами справляется с переменным успехом. Два самых сложных слова для россиян пишет так:

Эмоции и оскорбления

У искусственного интеллекта нет чувственного опыта, поэтому материалы получаются беспристрастными и сухими. Исследование показало, что нейросеть чаще описывает опыт, а не делится чувствами: избегает личных местоимений и агрессивных выражений. Так что новости и научные работы машинам доверить можно, а посты для личного блога лучше взять на себя.

Ругаться нейросетям запретили. Их разрабатывают так, чтобы материалы не задели ничьих чувств, поэтому они будут всячески избегать обсценной лексики и прямых оскорблений.

Сленг и профессионализмы тоже признак человеческого авторства.

Достоверность

Текст за нейросетями нужно проверять, потому что они собирают информацию со всех сайтов подряд и не умеют проверять факты. Так что могут совершать ненамеренные фактические ошибки.

Синтаксис и повторы

Искусственный интеллект грешит однотипными синтаксическими конструкциями часто одинаковой длины и использует прямой порядок слов. Такой вариант уместен в списках, но в эмоциональном отзыве выглядит искусственно.

Хотя такой вариант для начала пунктов неплох, было бы интереснее текст с переменной ритмикой: так сохраняется динамика.

Есть и дублирование смысла: повторы, избыточность. Одна и та же мысль может раскрываться в тексте разными словами.

Например, в английском языке в текстах часто встречается артикль the: искусственный интеллект не рассуждает, а угадывает, какое слово должно быть следующим, он с большей вероятностью выберет общие слова the, it, is.

Глубина и примеры

Сгенерированные тексты не всегда могут удовлетворить человеческое любопытство, несмотря на обилие источников информации. Искусственный интеллект пока не учитывает контекст в полной мере, поэтому материалы получаются поверхностными, затрагивающими лишь общие факты.

Нейросеть может сформулировать внятный ответ на однозначные вопросы. А вот отстаивать мнение в спорном вопросе откажется либо обтекаемо обозначит точки зрения обеих сторон.

С примерами тоже выходит не очень:

Значит, глубокие философские рассуждения или обоснование дискуссионной позиции — человеческое творение.

Тропы

У нейросети нет чувственного опыта, которым они могли бы поделиться. Поэтому с образными выражениями она не справляется. Сарказм, ирония, глубокие метафоры — признак работы человека.

Чек-лист: отличия текстов нейросетей и человека

Составили сравнительную таблицу, которая поможет разобраться в авторстве материалов.

Какие сервисы могут помочь отличить текст, написанный нейросетью

Ресурсы для поиска нейросетевого вмешательства остаются на шаг позади пишущего искусственного интеллекта, OpenAI работают над тем, чтобы сделать «вотермарки» для обнаружения текста, чтобы не вводить читателей в заблуждение.

Идеальным вариантом было бы поставить расширение в браузере. Пока такого нет, предлагаем попробовать несколько других инструментов.

1. AI Text Classifier от создателей ChatGPT

Принимает тексты объёмом больше 1000 символов. Чем больше объём, тем точнее определяет авторство. Чтобы пользоваться, нужен аккаунт в OpenAI и включённый и включенный сервис, обеспечивающий зашифрованное подключение к сети.

Русский язык: есть.

Точность: правильно определяет 26% текста ИИ, ошибается в 9% текстов от человека.

2. Код от разработчиков из Гарварда

Исследователи из Гарварда и IBM разработали инструмент Giant Language Model Test Room (GLTR), который выделяет отрывки, возможно созданные ИИ.

Русский язык: нет.

Точность: 72%.

3. CheckGPT от пользователя habr 

Анализирует тексты от 300 символов, и чем длиннее текст, тем точнее результат. Есть 10 бесплатных попыток в чат-боте и 14 дней свободного использования веб-версии.

Русский язык: есть.

Точность: 84–98%.

4. GPTZero

Проверяет тексты от 250 до 5000 символов бесплатно, можно загружать файлы.

Русский язык: нет.

Точность: 85% для текста ИИ и 99% для человеческого.

5. GPT Output Detector

Нет ограничения по объёму, но большие тексты анализирует с трудом. Лучше подойдёт для материалов до 2000 символов.

Русский язык: есть.

Точность: нет информации.

6. Сам ChatGPT

Любой объём и веселее общаться: может обосновать свою позицию.

Русский язык: есть.

Точность: нет информации.