Как распознать текст, написанный нейросетью ChatGPT — ВыИскали
Текст, написанный нейросетью: учимся отличать сгенерированный текст Текст, написанный нейросетью: учимся отличать сгенерированный текст

Текст, написанный нейросетью: учимся отличать сгенерированный текст

по шести признакам

Нейросети могут приврать и даже дать интервью за Шумахера. На глаз определить такой текст сложно: большинство американцев не могут отличить сгенерированный текст от человеческого, особенно это касается статей о здоровье.

Технологии нейросетей развиваются быстрее, чем инструменты их распознавания, но тех, кто знаком с ИИ, обмануть сложнее. Расскажем, на что обращать внимание в тексте, чтобы научиться противостоять машинам.

Это материал из серии «ВыИИскали», где мы разбираемся в пользе нейросетей. Чтобы понять, как они работают, прочитайте материал «Что такое нейросеть». Если вы уже знакомы с инструментом, но ещё не нашли ему применение, посмотрите нашу подборку «10 полезных нейросетей». Кстати, там нет ChatGPT и Midjourney.

Опечатки и ошибки

В сгенерированном тексте редко встречаются ошибки, поэтому проблемы с орфографией скорее признак того, что текст создан человеком. В русском языке ChatGPT допускает стилистические неточности: может использовать неподходящее слово или поставить существительное в неправильный падеж.

Пост про часы от нейросети
Текст от нейросетей без редакции выглядит необычно. Похоже на эффект зловещей долины: с текстом что-то не так, а что — сказать сложно
Источник: google.com

С диктантами справляется с переменным успехом. Два самых сложных слова для россиян пишет так:

Нейросеть пишет слово «сызмальства»
И не сказать, что ошибка
Источник: chat.openai.com

Нейросеть пишет слово «кардинальный»
Справилась с первого раза
Источник: chat.openai.com

Эмоции и оскорбления

У искусственного интеллекта нет чувственного опыта, поэтому материалы получаются беспристрастными и сухими. Исследование показало, что нейросеть чаще описывает опыт, а не делится чувствами: избегает личных местоимений и агрессивных выражений. Так что новости и научные работы машинам доверить можно, а посты для личного блога лучше взять на себя.

Отрицательный отзыв нейросети на фильм «Мстители»
Нейросеть не оценила «Мстителей», но очень боится кого-то обидеть
Источник: chat.openai.com

Ругаться нейросетям запретили. Их разрабатывают так, чтобы материалы не задели ничьих чувств, поэтому они будут всячески избегать обсценной лексики и прямых оскорблений.

Нейросеть и нецензурная лексика
Мне удалось её убедить, но если очень хочется, то можно добиться нецензурных выражений и от машины.
Источник: chat.openai.com

Сленг и профессионализмы тоже признак человеческого авторства.

Достоверность

Текст за нейросетями нужно проверять, потому что они собирают информацию со всех сайтов подряд и не умеют проверять факты. Так что могут совершать ненамеренные фактические ошибки.

Ошибочная этимология слова «каратность» от нейросети
Этимология слова — мимо
Источник: chat.openai.com

Этимология слова «каратность»
Перепутали рожковое дерево с чертополохом, с кем не бывает
Источник: old.bigenc.ru

Синтаксис и повторы

Искусственный интеллект грешит однотипными синтаксическими конструкциями часто одинаковой длины и использует прямой порядок слов. Такой вариант уместен в списках, но в эмоциональном отзыве выглядит искусственно.

Нейросеть рекомендует, куда сходить в Красноярске
Хорошо для маршрутного листа, но в СМИ такое не опубликуешь: не за что зацепиться
Источник: chat.openai.com

Нейросеть оставила негативный отзыв на «Мстителей»
Эмоционально, но почему каждый абзац-аргумент начинается с риторического вопроса?
Источник: chat.openai.com

Хотя такой вариант для начала пунктов неплох, было бы интереснее текст с переменной ритмикой: так сохраняется динамика.

Есть и дублирование смысла: повторы, избыточность. Одна и та же мысль может раскрываться в тексте разными словами.

Пост про наручные часы от нейросети
Идеально настолько, что невозможно молчать
Источник: chat.openai.com

Например, в английском языке в текстах часто встречается артикль the: искусственный интеллект не рассуждает, а угадывает, какое слово должно быть следующим, он с большей вероятностью выберет общие слова the, it, is.

Глубина и примеры

Сгенерированные тексты не всегда могут удовлетворить человеческое любопытство, несмотря на обилие источников информации. Искусственный интеллект пока не учитывает контекст в полной мере, поэтому материалы получаются поверхностными, затрагивающими лишь общие факты.

Нейросеть о гендерном неравенстве в России
Рассуждение на сложную тему получается «беззубым»
Источник: chat.openai.com

Нейросеть может сформулировать внятный ответ на однозначные вопросы. А вот отстаивать мнение в спорном вопросе откажется либо обтекаемо обозначит точки зрения обеих сторон.

С примерами тоже выходит не очень:

Нейросеть о том, почему не стоит откладывать дела на последний момент
Пример для материала об откладывании дел на последний момент выглядит как притча
Источник: chat.openai.com

Значит, глубокие философские рассуждения или обоснование дискуссионной позиции — человеческое творение.

Тропы

У нейросети нет чувственного опыта, которым они могли бы поделиться. Поэтому с образными выражениями она не справляется. Сарказм, ирония, глубокие метафоры — признак работы человека.

Альтернативная подпись для поисковиков
Сарказм и ирония от ChatGPT больше напоминают восторженность
Источник: chat.openai.com

Чек-лист: отличия текстов нейросетей и человека

Составили сравнительную таблицу, которая поможет разобраться в авторстве материалов.

ЧеловекНейросеть
Опечатывается и делает орфографические ошибкиТекст грамотный, но чаще встречаются стилистические ошибки и повторы синтаксических конструкций
Делится эмоциями, не стесняется в выраженияхБеспристрастна и не умеет ругаться
Может манипулировать фактамиСовершает ненамеренные фактические ошибки, иногда абсурдные
Может рассуждать на глубокие неоднозначные темыПишет поверхностные материалы
Ссылается на собственный или общечеловеческий опыт, способен придумать релевантный примерС примерами туго: либо нет, либо общие
Может использовать сложные метафоры, иронию, сарказм, шутитНе умеет иронизировать и шутить

Проверьте своё чутьё: попробуйте угадать, какие события произошли на самом деле, а что выдумала нейросеть, в тесте «Новость от нейросети или нет?».

Какие сервисы могут помочь отличить текст, написанный нейросетью

Ресурсы для поиска нейросетевого вмешательства остаются на шаг позади пишущего искусственного интеллекта, OpenAI работают над тем, чтобы сделать «вотермарки» для обнаружения текста, чтобы не вводить читателей в заблуждение.

Идеальным вариантом было бы поставить расширение в браузере. Пока такого нет, предлагаем попробовать несколько других инструментов.

  1. AI Text Classifier от создателей ChatGPT

Принимает тексты объёмом больше 1000 символов. Чем больше объём, тем точнее определяет авторство. Чтобы пользоваться, нужен аккаунт в OpenAI и включённый и включенный сервис, обеспечивающий зашифрованное подключение к сети.

Русский язык: есть.

Точность: правильно определяет 26% текста ИИ, ошибается в 9% текстов от человека.

  1. Код от разработчиков из Гарварда

Исследователи из Гарварда и IBM разработали инструмент Giant Language Model Test Room (GLTR), который выделяет отрывки, возможно созданные ИИ.

Русский язык: нет.

Точность: 72%.

  1. CheckGPT от пользователя habr 

Анализирует тексты от 300 символов, и чем длиннее текст, тем точнее результат. Есть 10 бесплатных попыток в чат-боте и 14 дней свободного использования веб-версии.

Русский язык: есть.

Точность: 84–98%.

  1. GPTZero

Проверяет тексты от 250 до 5000 символов бесплатно, можно загружать файлы.

Русский язык: нет.

Точность: 85% для текста ИИ и 99% для человеческого.

  1. GPT Output Detector

Нет ограничения по объёму, но большие тексты анализирует с трудом. Лучше подойдёт для материалов до 2000 символов.

Русский язык: есть.

Точность: нет информации.

  1. Сам ChatGPT

Любой объём и веселее общаться: может обосновать свою позицию.

Русский язык: есть.

Точность: нет информации.

Поделиться: