Исследование социальной сети ВКонтакте в 2019 году показало, что 58% россиян сталкивались с кибертравлей в интернете. Опрос онлайн-школы «Фоксфорд» фиксирует, что каждый второй ребенок подвергался кибербуллингу – намеренным оскорблениям, угрозам и иным формам агрессивного поведения в социальных сетях, мессенджерах, на форумах и игровых платформах. Распространенности явления способствуют анонимность, возможность быстро и безнаказанно запугивать жертву и др. Это может иметь пагубные и долгосрочные последствия для жертв, основными социальными угрозами кибербуллинга являются террористические и суицидальные явления.
Важную роль в предотвращении негативных последствий интернет-травли занимает её обнаружение на начальном этапе. Оперативный способ выявления – встроенные аналитические фильтры сообщений и комментариев в социальных сетях и мессенджерах. Одной из сложностей при разработке таких программ является выбор адекватного критерия, по которому ПО будет оценивать сообщение и «метить» его в случае угрозы.
Логическим критерием для анализа могут стать когнитивные искажения – систематические ошибки мышления, которые сопутствуют кибербуллингу. Они нарушают правильное видение ситуации человеком и могут служат катализатором для обидчика. Аналитика свидетельствует, что в буллинг-системе чаще всего фигурируют следующие когнитивные искажения: дихотомическое или черно-белое мышление, и навешивание ярлыков.
Студентка 4 курса кафедры инженерной кибернетики Института информационных технологий и компьютерных наук НИТУ «МИСиС» Алена Минаева разработала математическое обеспечение и программу для распознавания определенных когнитивных искажений посредством анализа текстов сообщений пользователей социальных сетей.
«Для решения поставленной задачи использовался целый комплекс методов машинного обучения (классификаторы): метод К-ближайших соседей, метод опорных векторов, «наивный Байес», деревья решений, логическая регрессия. Кроме того, для обучения и тестирования методов был создан датасет или база данных, состоящая из комментариев пользователей популярных интернет-форумов. Для оценки работы созданных алгоритмов были выбраны следующие метрики: ROC-AUC и F1-метрика», – рассказала автор разработки Алена Минаева.
В итоге была создана комбинация, которая умеет анализировать текст на русском языке и находить сообщения, содержащие когнитивные искажения, характерные для буллинга. Система может стать основой нейросети, встроенной в любой мессенджер, например, Телеграмм и в фоновом режиме мониторить беседу пользователей, и принимать меры для нейтрализации агрессии или запугивания при их появлении.
Проект вошел в число победителей студенческой конференции «Дни науки НИТУ «МИСиС».