MTS AI совместно со Сколтехом создала детоксификатор языка – ИИ-решение, которое распознает токсичные слова и выражения, а затем удаляет их либо заменяет близкой по смыслу, но не оскорбительной лексикой.
Это решение позволяет сохранить смысл фразы и снизить градус агрессии в общении. Детоксификатор можно использовать не только в социальных сетях, но и в общении с голосовыми помощниками, чат- и войс-ботами.
«Интернет – уникальный источник информации, не только самый большой и доступный, но и стихийно развивающийся. Контент создают сами пользователи, поэтому проблема безопасного и нетоксичного общения всегда актуальна, — сказала Ирина Кротова, старший разработчик в группе NLP MTS AI. — Споры в комментариях часто перерастают в оскорбления, пользователи «на эмоциях» выражают своё мнение в грубой форме, ведь написать и отправить текст — дело нескольких секунд. Скорость генерации контента настолько высока, что невозможно качественно фильтровать его вручную. Часто социальные сети просто блокируют оскорбительные высказывания. Наше решение позволяет не просто удалять сообщения или банить пользователей, а предлагать замену текста на более нейтральный, при этом не теряя сути сообщения».
Разработка MTS AI и Сколтеха уникальна для российского рынка, поскольку большинство подобных решений предназначены для английского языка. Для русскоязычных пользователей подобных сервисов практически не было, а разработанные ранее решения оказались неэффективными.
MTS AI и Сколтех предложили два типа моделей для создания ботов и приложений, которые убирают негативную лексику из речи. Первый подход использует языковую модель BERT, основанную на нейросетевой архитектуре Трансформер. Модель осуществляет точечное редактирование текста: находит в нем негативные слова и выражения, заменяет их на нейтральные синонимы или вовсе удаляет.
Второй подход также основан на архитектуре Трансформер, однако он решает другую задачу – условную генерацию текста по входному запросу. То есть языковая модель создает нейтральную версию токсичной фразы. Для академического соревнования на конференции «Диалог», была подготовлена модель детоксификации на основе языковой модели ruT5.
«В данном проекте совместно с коллегами из МТS AI удалось создать ряд технологий для детектирования и переписывания токсичного контента. Предложенные методы и модели могут быть использованы для предотвращения репутационных рисков компании (чат-бот, обученный на текстах из сети, может ответить токсично), — сказал Александр Панченко, PhD, старший преподаватель Сколтеха и руководитель совместной лаборатории МТС-Сколтех.
— Возможны и другие применения. Например, до отправления комментария пользователю может быть предложена менее токсичная формулировка его сообщения. В подобном сценарии использования свобода выражения не страдает, но количество эмоционально написанных негативных комментариев может быть значительно сокращено. В результате данного сотрудничества кроме методов, моделей и наборов данных появилось немало научных статей, опубликованных совместным коллективом исследователей, инженеров и студентов из Сколтеха и МТС, в том числе на ведущих международных конференциях в области ИИ, таких как ACL и EMNLP».
Примеры замены лексики с помощью детоксификатора:
Да ты обалдел, м****! Да ты обалдел, автор!
З****** со своим повышением цен. Надоели со своим повышением цен.
Какого х*** ты это написал? Зачем ты это написал?
Отключите этот п******** сервис. Отключите этот сервис.
Протестировать возможности детоксификатора языка можно самостоятельно. Просто обругайте нашего бота в мессенджере Telegram.
Подробнее о методах и моделях, которые были использованы в данном подходе, можно узнать в статье «Методы детоксификации текстов для русского языка», подготовленной специалистами MTS AI и Сколтеха, а также на страничке совместной лаборатории МТС-Сколтех в области ИИ.
О компании
MTS AI – дочерняя компания МТС и Центр компетенций в области искусственного интеллекта. В ее портфеле – решения в области компьютерного зрения, обработки естественного языка и граничных вычислений.
MTS AI создала дочернюю международную компанию INTEMA, которая работает с профессионалами в области искусственного интеллекта, заключает партнерства с технологическими лидерами, помогает начинающим предпринимателям и инвестирует в перспективные команды и разработки.