Как определить отрицательную ценность оскорбительной публикации?

Определение отрицательной ценности оскорбительного контента

Контекст: почему это важно

Каждая платформа (соцсети, форумы, коммьюнити) сталкивается с токсичным контентом. Но не все оскорбительные посты одинаково вредны. Нужно метрика, которая показывает вредоносность контента.

Оскорбительный пост, который видят 1000 человек — это совсем другое, чем пост, видят 5 человек. И пост "ты глупый" — другой, чем разжигание ненависти.

---

Фреймворк: определение отрицательной ценности

Отрицательная ценность = Токсичность × Охват × Влияние

1. Токсичность контента (Severity)

Уровень 1 — Раздражение (низкая токсичность)

• "Это скучно"
• "Не согласен"
• Низкое воздействие, но может спровоцировать дискуссию

Уровень 2 — Прямое оскорбление (средняя токсичность)

• "Ты идиот"
• Персональные атаки на человека
• Может обидеть, но без вреда психике

Уровень 3 — Harrassment / Булли (высокая токсичность)

• Координированные атаки (5+ человек пишут оскорбления)
• Персональная информация ("он живёт по адресу...")
• Призывы к исключению ("заблокируйте этого")

Уровень 4 — Угрозы и насилие (критическая токсичность)

• Угрозы физического вреда
• Разжигание ненависти по расе/полу/ориентации
• Призывы к насилию

Как оценить:

• Используй ML модель (Perspective API от Google, Detoxify)
• Человеческие модераторы (для edge cases)
• Контекст имеет значение ("я забью" vs "я буду бить тебя")

---

2. Охват (Reach)

Количество потенциальных зрителей:

• Прямой охват: сколько пользователей видят пост?

  • Публичный пост в Twitter → миллионы
  • Ответ в закрытом сообществе → 500 человек
  • ДМ между друзьями → 1 человек

• Вторичный охват: сколько людей поделятся этим?

  • Если пост уже 10K реп — вирусный
  • Если 50 лайков — локальный

Формула:

Охват = (Просмотры + Репосты + Упоминания) × Влиятельность автора

Пост обычного пользователя с 100 просмотрами < пост знаменитости с 100 просмотрами (потому что его ещё 1M будут обсуждать)

---

3. Влияние (Impact)

Кто страдает от этого контента?

• На целевого пользователя:

  • Прямой оскорбление → потенциальный вред
  • Если это публичная фигура → менее вредно (они привыкли)
  • Если это несовершеннолетний → более вредно

• На сообщество:

  • Если один пост оскорбляет → обсуждение, конфликт
  • Если это паттерн (каждый день) → отток пользователей

• На доверие к платформе:

  • Если платформа не модерирует → люди уходят
  • Реклама бегут ("не хочу на токсичном сайте")

Типы воздействия:

Высокое:   Булли, угрозы, разжигание ненависти
Среднее:   Личные атаки, спам, дезинформация
Низкое:    Офф-топик, некачественные посты, мнения

---

Практическая формула расчёта

отрицательная_ценность = (
    токсичность (0-100) × 
    охват (логарифмическая шкала) × 
    влияние (множитель по типу вреда)
)

Примеры расчёта:

Пример 1: "Ты идиот"

• Токсичность: 40 (прямое оскорбление)
• Охват: 10 просмотров (ответ в чате)
• Влияние: 2 (обидит, но не критично)
• Итог: 40 × log(10) × 2 = 16 баллов → Низкий приоритет

Пример 2: Булли несовершеннолетнего

• Токсичность: 75 (координированные атаки)
• Охват: 5000 просмотров (вирусный пост)
• Влияние: 5 (несовершеннолетний, психологический вред)
• Итог: 75 × log(5000) × 5 = 1875 баллов → Критический приоритет

Пример 3: Политический спам

• Токсичность: 35 (дезинформация, но без личных атак)
• Охват: 100K просмотров
• Влияние: 3 (портит дискуссию, но не опасно)
• Итог: 35 × log(100000) × 3 = 525 баллов → Высокий приоритет

---

Алгоритм модерации

Шаг 1: Автоматическое выявление

• ML модель скандирует новые посты
• Помечает подозрительные (токсичность > 60)
• Добавляет в очередь для модераторов

Шаг 2: Приоритизация

• Высокий приоритет (отрицательная ценность > 1000):

  • Булли, угрозы, ненависть
  • Проверить за 1 час
  • Возможное удаление за 4 часа

• Средний приоритет (100-1000):

  • Оскорбления, спам
  • Проверить за 24 часа
  • Решение: варнинг или удаление

• Низкий приоритет (<100):

  • Неприятные, но не вредные
  • Только если много жалоб
  • Решение: контекст-зависимое

Шаг 3: Решение модератора

• Контекст имеет значение ("я забью гвозди" vs "я забью человека")
• Возможные действия:
  • Удалить (угрозы, булли)
  • Скрыть (видна, но с warning)
  • Оставить (с комментарием модератора)
  • Заблокировать пользователя (паттерн нарушений)

Шаг 4: Апелляция

• Пользователь может оспорить удаление
• Другой модератор пересматривает
• Если ошибка — восстанавливаем пост

---

Динамические факторы

Контекст меняет всё:

• Сообщество: в R/Roast культура "плохих шуток" нормальна. В R/Support нет.
• Намерение: "ты глупый" (булли) vs "я глупый" (самокритика) — разные
• Время: если пост старый и не реактивируется — приоритет ниже
• Ответ целевого человека: если жертва шутит в ответ → может не быть вредом

Пример контекста:

Форум поддержки Новичок спросил вопрос Ответ: "Это же очевидно, гугли!" Отрицательная ценность: высокая (унизительный тон в месте для помощи) Действие: удалить + объяснить правила

vs

Roast-форум Участник просит быть высмеянным Комментарии: "Твой анекдот ужасен" Отрицательная ценность: низкая (это цель сообщества) Действие: оставить, может быть самый смешной выиграет приз

---

Метрики для отслеживания

Модератор должен видеть дэшборд:

Оскорбительных постов в день: 150
Удалено: 30 (20%)
Скрыто: 50 (33%)
Оставлено: 70 (47%)

Средняя отрицательная ценность:
- Удаленные: 1200 баллов
- Скрытые: 350 баллов
- Оставленные: 45 баллов

Апеляции: 5 в день (16% от удалений)
Переворот апеляций: 1 (20%)

Это показывает, правильно ли модерируют.

---

Инструменты и технологии

ML модели:

• Google Perspective API (английский, многие языки)
• Azure Content Moderator
• Detoxify (open-source)
• Custom модели (если специфичный контент)

Human-in-the-loop:

• Очередь для модераторов (приоритизирована)
• Шаблоны ответов
• Апеляции (second opinion)

Логирование:

• Почему удален пост? (причина)
• Кто решил?
• Была ли апелляция?
• Результат апелляции?

Это помогает улучшать политики.

---

Итог

Отрицательная ценность оскорбительного контента — это:

1. Не просто токсичность. Нужно смотреть на масштаб, влияние, контекст.
2. Не субъективно. Формула и метрики — объективны. (но контекст тоже важен)
3. Динамично. Старый пост менее вреден, чем новый. Булли в roast-форуме норма.
4. Приоритизируемо. Угрозы > булли > неприятное мнение. Модерируй в том порядке.
5. Улучшаемо. Метрики показывают, что работает, а что нет.

Хорошая модерация — это баланс между свободой слова и безопасностью сообщества.