10 KiB
Структура презентации
Ниже — рекомендуемая последовательность слайдов. Она рассчитана на аудиторию, которая знает базовые понятия машинного обучения, но не знает деталей стилометрии. Формулировки можно сокращать, но логику лучше сохранить.
Слайд 1. Тема и исследовательский вопрос
Заголовок: Различимы ли речевые маски персонажей Stardew Valley?
Ключевые тезисы:
- 2005 реплик, 34 персонажа, один автор.
- Задача — не авторская атрибуция, а классификация речевых масок.
- Вопрос: можно ли различить персонажей по стилометрическим признакам отдельных реплик?
Визуализация: примеры реплик 3–4 контрастных персонажей (Abigail, Jas, Krobus, Wizard).
Слайд 2. Корпус и его ограничения
Ключевые тезисы:
- 2005 реплик, 34 класса, около 38 тыс. словоупотреблений.
- Средняя длина — 19 слов, медиана — 17.
- Классы неравномерны: 15–139 реплик.
- Корпус прошёл ручную фильтрацию коротких и общих фраз; правила не восстановлены.
- Точных дублей реплик нет.
Визуализация: горизонтальная диаграмма распределения классов; гистограмма длин реплик.
Слайд 3. Почему это сложная задача
Ключевые тезисы:
- Один автор → нельзя использовать традиционную авторскую атрибуцию.
- Короткие тексты → признаки словарного богатства и читаемости нестабильны.
- Дисбаланс → accuracy обманчива, нужна macro-F1.
- 34 класса → случайный уровень 2,9%, top-3 — 8,8%.
- LSA может выучить тему, а не стиль.
Визуализация: таблица «случайный уровень vs ожидаемый сигнал».
Слайд 4. Предобработка и NLTK
Ключевые тезисы:
- Нормализация Unicode и плейсхолдеров.
- Токенизация, разбиение на предложения, частеречная разметка NLTK.
- PTB → Universal POS.
- Не удаляем стоп-слова, пунктуацию и короткие реплики: это стилометрический сигнал.
- Не лемматизируем по умолчанию: инфлексия — тоже стиль.
Визуализация: схема «реплика → токены → POS → признаки».
Слайд 5. Стилометрические признаки
Ключевые тезисы:
- 454 ручных признака в 11 группах.
- Функциональные слова — ядро классической стилометрии.
- POS и символьные n-граммы — устойчивы к теме.
- Пунктуация и разговорные маркеры — важны для игровых реплик.
- Словарное богатство и читаемость — предварительные признаки.
Визуализация: таблица групп признаков с примерами; словарь признаков в приложении.
Слайд 6. LSA
Ключевые тезисы:
- LSA = TF-IDF → усечённое сингулярное разложение → L2-нормализация.
- Варианты: слова, содержание без стоп-слов, функциональные слова, символьные n-граммы, POS.
- Число компонент выбирается по объяснённой дисперсии и внешней метрике.
- LSA по всем словам может отражать тему; сравнение с POS/функциональными словами обязательно.
- Обучение LSA — только внутри блоков перекрёстной проверки.
Визуализация: график объяснённой дисперсии; 2D PCA/t-SNE; примеры top-терминов компонент.
Слайд 7. Схема валидации
Ключевые тезисы:
- 5-блочная стратифицированная перекрёстная проверка.
- Повторность: 3–5 повторов.
- Вложенная настройка гиперпараметров: внешние блоки — оценка, внутренние — настройка.
- Все обучаемые преобразования — внутри блоков.
- Контроль утечек: TF-IDF, SVD, масштабирование, отбор признаков.
Визуализация: схема outer/inner CV.
Слайд 8. Метрики
Ключевые тезисы:
- Основная метрика — macro-F1: все 34 класса равноправны.
- Дополнительно: сбалансированная доля правильных ответов, MCC, каппа, top-3/top-5.
- Accuracy приводится, но не используется как единственная метрика.
- 95% бутстрэп-интервалы.
- Парные сравнения: Мак-Немар; несколько моделей — Фридман и Холм.
Визуализация: таблица метрик с формулами в приложении; пример «почему accuracy обманывает» (Dummy: 6,9% accuracy, macro-F1 0,004).
Слайд 9. Классификаторы
Ключевые тезисы:
- Dummy — нижняя граница.
- MultinomialNB — быстрый вероятностный baseline.
- LogisticRegression — основной кандидат: линейная модель, вероятности, интерпретируемые коэффициенты.
- LinearSVC — сильная линейная альтернатива без вероятностей.
- RandomForest/ExtraTrees — нелинейная проверка.
- kNN — локальный baseline.
- Delta Барроуза — классическая стилометрическая проверка.
Визуализация: таблица «модель — сильная сторона — ограничение».
Слайд 10. Результаты
Ключевые тезисы:
- Предварительные прогоны: macro-F1 около 0,18 для объединённого набора, top-3 около 0,34.
- Случайный уровень: macro-F1 0,029, top-3 0,088.
- Символьные и POS n-граммы дают основной прирост.
- LSA сама по себе слабее; в объединении даёт небольшой прирост.
- Редкие классы проваливаются; смотреть F-меру по классам.
Визуализация: таблица результатов; матрица ошибок; диаграмма F-меры по классам.
Слайд 11. Стиль или тема?
Ключевые тезисы:
- Сравнение
lsa_word/lsa_contentсlsa_pos/lsa_fw/lsa_char. - Если word/content значительно лучше — вклад темы велик.
- Если POS/FW сопоставимы — стиль и синтаксис информативны.
- Маскировка содержательных слов и тематический контроль — следующий шаг.
Визуализация: сравнительная диаграмма macro-F1 по вариантам LSA.
Слайд 12. Ошибки и интерпретация
Ключевые тезисы:
- Самые частые пары ошибок.
- Персонажи с малым support.
- Дети, нелюди, персонажи с похожей ролью.
- Влияние длины реплик.
- Анализ по полу, возрасту, виду.
Визуализация: самые частые пары ошибок; F-мера по подгруппам.
Слайд 13. Ограничения
Ключевые тезисы:
- Один автор.
- Короткие тексты.
- Ручная фильтрация корпуса.
- Дисбаланс классов.
- Нет идентификаторов сцен.
- NLTK-теггер ошибается на разговорной речи.
- LSA может отражать тему.
- Кластеризация и t-SNE — предварительный анализ.
Слайд 14. Выводы и дальнейшая работа
Ключевые тезисы:
- Речевые маски персонажей статистически различимы, но сигнал умеренный.
- Основной вклад — символьные и частеречные n-граммы; LSA полезна как дополнение, но требует контроля темы.
- Для усиления: больше данных, агрегация реплик в псевдодокументы, тематический контроль, более точный частеречный теггер, учёт сцен.
- Воспроизводимость: код, конфигурации, seed, метаданные запусков.
Визуализация: итоговая таблица «что сделано — что показано — что дальше».
Приложение
- Полный словарь признаков.
- Формулы метрик.
- Сетки гиперпараметров.
- Примеры ошибок.
- Команды запуска.