Добавлена нумерация слайдов и счетчик оставшихся
This commit is contained in:
@@ -12,6 +12,7 @@
|
||||
\usetikzlibrary{calc}
|
||||
\usepackage[most]{tcolorbox}
|
||||
\usepackage{graphicx}
|
||||
\usepackage{etoolbox}
|
||||
|
||||
\graphicspath{{../images/}{../generated/}}
|
||||
|
||||
@@ -35,6 +36,19 @@
|
||||
\setbeamertemplate{itemize item}{\textbullet}
|
||||
\setbeamertemplate{itemize subitem}{--}
|
||||
|
||||
% ---------- Нижний колонтитул: номер слайда и сколько осталось ----------
|
||||
% Рисуется в конце каждой рамки поверх содержимого и не меняет вёрстку.
|
||||
\newcommand{\slidefooter}{%
|
||||
\begin{tikzpicture}[remember picture, overlay]
|
||||
\node[anchor=north east, xshift=-0.55cm, yshift=-0.22cm]
|
||||
at (current page.north east)
|
||||
{\colorbox{cream}{\scriptsize\color{inkbrown}%
|
||||
Слайд \insertframenumber\ из \inserttotalframenumber
|
||||
\quad·\quad осталось: \the\numexpr\inserttotalframenumber-\insertframenumber\relax}};
|
||||
\end{tikzpicture}%
|
||||
}
|
||||
|
||||
|
||||
% ---------- Фон: изображение + маленькая курица на каждом слайде ----------
|
||||
\usebackgroundtemplate{%
|
||||
\begin{tikzpicture}[remember picture, overlay]
|
||||
@@ -96,10 +110,11 @@
|
||||
colframe=cream, boxrule=0pt, arc=2mm, halign=center, boxsep=2mm]
|
||||
{\large\bfseries Стилометрическая классификация реплик персонажей Stardew Valley}\\[2mm]
|
||||
{\normalsize Можно ли различить голоса персонажей, \\ если все реплики написаны одним автором?}\\[2.4mm]
|
||||
\small А.~А.~Аладьина \quad·\quad В.~Н.~Копнин \quad·\quad М.~В.~Савостиков\\[0.8mm]
|
||||
А.~А.~Аладьина \quad·\quad В.~Н.~Копнин \quad·\quad М.~В.~Савостиков\\[0.8mm]
|
||||
\footnotesize ПИЭ-13МО
|
||||
\end{tcolorbox}
|
||||
\end{center}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
% ==================== БЛОК 1 ====================
|
||||
@@ -109,20 +124,21 @@
|
||||
colframe=cream, boxrule=0pt, arc=2mm, halign=center, boxsep=3mm]
|
||||
{\large Часть 1}\\[1.5mm]
|
||||
{\Large\bfseries Решаемая задача и корпус}\\[2mm]
|
||||
\small Постановка задачи · сбор и очистка данных · характеристики корпуса\\[2.5mm]
|
||||
Постановка задачи · сбор и очистка данных · характеристики корпуса\\[2.5mm]
|
||||
{\bfseries Докладчик: А.~А.~Аладьина}
|
||||
\end{tcolorbox}
|
||||
\end{center}
|
||||
\note{Часть\,1. Говорит А. А. Аладьина. План части: что за задача мы решаем,
|
||||
её формальная постановка, как собирали и чистили корпус, и какими
|
||||
характеристиками он обладает.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Задача и постановка}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.57\textwidth}
|
||||
\begin{panel}
|
||||
\small
|
||||
|
||||
\textbf{Решаемая задача}
|
||||
\begin{itemize}
|
||||
\item Дано: 2005 коротких реплик, 34 персонажа, один автор.
|
||||
@@ -135,13 +151,12 @@
|
||||
\end{column}
|
||||
\begin{column}{0.41\textwidth}
|
||||
\begin{panel}
|
||||
\small
|
||||
|
||||
\textbf{Обозначения}\\[1mm]
|
||||
$D=\{(x_i,\,y_i)\}_{i=1}^{n}$,\quad $n=2005$;\\
|
||||
$x_i$ — реплика;\\
|
||||
$y_i\in Y$, \ $|Y|=34$ — персонаж;\\
|
||||
$f$ — классификатор.\\[1.5mm]
|
||||
Единственная формальная запись в докладе.\\
|
||||
Критерий качества — макро-F1: средняя F-мера по 34 классам.
|
||||
\end{panel}
|
||||
\end{column}
|
||||
@@ -150,45 +165,9 @@
|
||||
текстов. Формула одна: D — корпус, x — реплика, y — персонаж, f —
|
||||
классификатор. Дальше все определения даются словами. Подчеркнуть: это не
|
||||
авторская атрибуция, автор один; мы различаем речевые маски.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Гипотезы исследования}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.57\textwidth}
|
||||
\begin{panel}
|
||||
\footnotesize
|
||||
\textbf{H1.} Функциональные слова, части речи и символьные
|
||||
n-граммы (последовательности соседних символов) различают
|
||||
персонажей выше случайного уровня.\\[0.7mm]
|
||||
\textbf{H2.} На коротких репликах части речи и символьные
|
||||
n-граммы устойчивее словарного богатства и читаемости.\\[0.7mm]
|
||||
\textbf{H3.} LSA по всем словам отражает тему, а LSA по частям
|
||||
речи и функциональным словам — стиль.\\[0.7mm]
|
||||
\textbf{H4.} Качество зависит от длины реплики.\\[0.7mm]
|
||||
\textbf{H5.} Ошибки группируются вокруг персонажей со сходным
|
||||
возрастом, полом, ролью или видом.
|
||||
\end{panel}
|
||||
\end{column}
|
||||
\begin{column}{0.41\textwidth}
|
||||
\begin{panel}
|
||||
\footnotesize\textbf{Как проверяем}
|
||||
\begin{itemize}
|
||||
\item H1 — сравнение моделей и поочерёдное исключение групп.
|
||||
\item H2 — исключение групп и анализ по длине.
|
||||
\item H3 — варианты LSA и контроль содержания.
|
||||
\item H4 — метрики по группам длины.
|
||||
\item H5 — анализ ошибок по метаданным.
|
||||
\end{itemize}
|
||||
\end{panel}
|
||||
\end{column}
|
||||
\end{columns}
|
||||
\note{Говорит А. А. Аладьина. Гипотезы сформулированы до экспериментов.
|
||||
H1 и H2 проверяют, есть ли стилометрический сигнал; H3 — стиль или тему;
|
||||
H4 — влияние длины; H5 — социальные подгруппы. Термин «фолд» появится в
|
||||
методологической части: это часть разбиения при перекрёстной проверке.}
|
||||
\end{frame}
|
||||
|
||||
|
||||
\begin{frame}{Корпус: сбор, разметка, очистка}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.33\textwidth}
|
||||
@@ -223,18 +202,19 @@
|
||||
\end{panel}
|
||||
\end{column}
|
||||
\end{columns}
|
||||
\vspace{-2mm}
|
||||
\begin{panel}
|
||||
\footnotesize \textbf{Ограничения данных:} ручная фильтрация; нет идентификаторов сцен.
|
||||
\end{panel}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Персонажи корпуса}
|
||||
\begin{frame}{Игровые персонажи}
|
||||
\begin{center}
|
||||
\begin{imgbox}
|
||||
\includegraphics[height=0.65\textheight]{characters.png}
|
||||
\end{imgbox}
|
||||
\end{center}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Характеристики корпуса: классы}
|
||||
@@ -248,7 +228,7 @@
|
||||
\end{column}
|
||||
\begin{column}{0.57\textwidth}
|
||||
\begin{panel}
|
||||
\small
|
||||
|
||||
\begin{tabular}{@{}p{3.2cm}p{3.6cm}@{}}
|
||||
\textbf{Реплик} & 2005\\[0.8mm]
|
||||
\textbf{Персонажей} & 34\\[0.8mm]
|
||||
@@ -259,12 +239,13 @@
|
||||
\end{tabular}
|
||||
\end{panel}
|
||||
\begin{panel}
|
||||
\small Дисбаланс почти десятикратный: от 15 до 139 реплик. Поэтому
|
||||
Дисбаланс почти десятикратный: от 15 до 139 реплик. Поэтому
|
||||
доля правильных ответов обманчива; основная метрика — макро усреднённая
|
||||
F-мера по классам.
|
||||
\end{panel}
|
||||
\end{column}
|
||||
\end{columns}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Характеристики корпуса: длина реплик}
|
||||
@@ -284,7 +265,7 @@
|
||||
\end{panel}
|
||||
\begin{panel}
|
||||
\begin{itemize}
|
||||
\item Короткие реплики дают мало стилометрических свидетельств.
|
||||
\item Короткие реплики дают мало информации для стилометрических характеристик.
|
||||
\item Длина сама по себе — сильный, но опасный признак: она может
|
||||
подменять «стиль» просто узнаванием персонажа.
|
||||
\item Поэтому её вклад проверялся отдельно: с исключением
|
||||
@@ -297,6 +278,7 @@
|
||||
диапазон 3–78. На таких коротких текстах признаки словарного богатства и
|
||||
читаемости нестабильны — это одна из причин низких абсолютных значений
|
||||
качества, о которых расскажет третий докладчик.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
% ==================== БЛОК 2 ====================
|
||||
@@ -306,13 +288,14 @@
|
||||
colframe=cream, boxrule=0pt, arc=2mm, halign=center, boxsep=3mm]
|
||||
{\large Часть 2}\\[1.5mm]
|
||||
{\Large\bfseries Методология: как измеряем стиль}\\[2mm]
|
||||
\small Признаки · LSA · классификаторы · схема проверки · метрики\\[2.5mm]
|
||||
Признаки · LSA · классификаторы · схема проверки · метрики\\[2.5mm]
|
||||
{\bfseries Докладчик: В.~Н.~Копнин}
|
||||
\end{tcolorbox}
|
||||
\end{center}
|
||||
\note{Часть\,2. Говорит В. Н. Копнин. План части: общая схема конвейера,
|
||||
какие признаки строим, как работает LSA, какие модели сравнивали и как устроена
|
||||
проверка, чтобы не обмануть себя.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Термины, которые встретятся дальше}
|
||||
@@ -337,7 +320,7 @@
|
||||
\begin{column}{0.49\textwidth}
|
||||
\begin{panel}
|
||||
\footnotesize
|
||||
\textbf{n-грамма} — последовательность $n$ соседних единиц:
|
||||
\textbf{n-грамм} — последовательность $n$ соседних единиц:
|
||||
символов, слов или POS-тегов.\\[0.8mm]
|
||||
\textbf{LSA} — сжатие таблицы «документ $\times$ признак» в
|
||||
несколько скрытых компонент.\\[0.8mm]
|
||||
@@ -357,6 +340,7 @@
|
||||
Universal POS — не «ещё одна модель», а универсальный набор частеречных
|
||||
тегов; POS-граммы — последовательности этих тегов. Клауза и
|
||||
синтаксис-прокси — приблизительные, но интерпретируемые оценки синтаксиса.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
|
||||
@@ -394,13 +378,13 @@
|
||||
преобразований и в конце — в вектор чисел, по которому модель выбирает
|
||||
класс. Ключевое правило: всё, что «учится» на данных, учится только на
|
||||
обучающей части каждой проверки.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
|
||||
\begin{frame}{454 ручных признака: 11 групп}
|
||||
\begin{panel}
|
||||
\scriptsize
|
||||
\begin{tabular}{@{}p{3.7cm}p{7.8cm}@{}}
|
||||
\begin{tabular}{@{}p{4cm}p{9.7cm}@{}}
|
||||
\textbf{Группа} & \textbf{Примеры признаков} \\ \hline
|
||||
Длина & число слов, символов, предложений; длина предложения \\
|
||||
Лексика & длины слов, апострофы, заглавные буквы, цифры \\
|
||||
@@ -415,26 +399,20 @@
|
||||
Разговорные маркеры & междометия, смех, хеджи, вежливость, сокращения \\
|
||||
\end{tabular}
|
||||
\end{panel}
|
||||
\begin{panel}
|
||||
\scriptsize
|
||||
\textbf{454} — суммарное число ручных признаков; часть групп
|
||||
(словарное богатство, читаемость) помечена как предварительная.
|
||||
Функциональные слова, части речи, пунктуация и разговорные маркеры —
|
||||
основные группы для коротких реплик.
|
||||
\end{panel}
|
||||
\note{Говорит В. Н. Копнин. Это расшифровка одиннадцати групп. Не нужно
|
||||
запоминать все 454 признака: важнее логика — длина, лексика, пунктуация,
|
||||
служебные слова, части речи, синтаксис, читаемость и разговорные маркеры.
|
||||
Словарное богатство и читаемость на коротких репликах нестабильны.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Автоматические признаки: n-граммы и LSA}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.49\textwidth}
|
||||
\begin{panel}
|
||||
\small\textbf{n-граммы}
|
||||
\textbf{n-граммы}
|
||||
\begin{itemize}
|
||||
\item \textbf{n-грамма} — последовательность $n$ соседних
|
||||
\item \textbf{n-грамм} — последовательность $n$ соседних
|
||||
единиц: символов, слов или POS-тегов.
|
||||
\item Символьные n-граммы 2–5: морфология, пунктуация,
|
||||
орфография.
|
||||
@@ -447,7 +425,7 @@
|
||||
\end{column}
|
||||
\begin{column}{0.49\textwidth}
|
||||
\begin{panel}
|
||||
\small\textbf{LSA}
|
||||
\textbf{LSA}
|
||||
\begin{itemize}
|
||||
\item Сжатие таблицы «реплика $\times$ признак» в $k$ скрытых
|
||||
компонент.
|
||||
@@ -460,7 +438,7 @@
|
||||
\end{column}
|
||||
\end{columns}
|
||||
\begin{panel}
|
||||
\small Символьные n-граммы чувствительны к морфологии и пунктуации;
|
||||
Символьные n-граммы чувствительны к морфологии и пунктуации;
|
||||
n-граммы POS-тегов — к порядку частей речи; LSA сжимает разреженные
|
||||
признаки в несколько чисел. Это три разных взгляда на стиль.
|
||||
\end{panel}
|
||||
@@ -468,13 +446,14 @@
|
||||
единиц. Символьные n-граммы ловят морфологию и пунктуацию, n-граммы POS-тегов —
|
||||
синтаксические шаблоны. LSA не «понимает» текст: он сжимает таблицу
|
||||
признаков в несколько скрытых компонент.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{LSA простыми словами}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.49\textwidth}
|
||||
\begin{panel}
|
||||
\small\textbf{Идея}
|
||||
\textbf{Идея}
|
||||
\begin{itemize}
|
||||
\item Строим таблицу «реплика $\times$ слово», взвешиваем
|
||||
частоты через TF-IDF.
|
||||
@@ -486,7 +465,7 @@
|
||||
\end{column}
|
||||
\begin{column}{0.49\textwidth}
|
||||
\begin{panel}
|
||||
\small\textbf{Варианты LSA}
|
||||
\textbf{Варианты LSA}
|
||||
\begin{itemize}
|
||||
\item \texttt{word} — лексика и тема.
|
||||
\item \texttt{content} — содержание без служебных слов.
|
||||
@@ -500,8 +479,8 @@
|
||||
\begin{panel}
|
||||
$k$ подбирался в диапазоне 50–400; для \texttt{content}-LSA качество
|
||||
устойчиво росло до 400.
|
||||
Ключевой вопрос: LSA по содержательным словам ловит \emph{тему}, а не
|
||||
только стиль.
|
||||
Ключевой вопрос: ловит ли LSA по содержательным словам \emph{тему}, а не
|
||||
только стиль?
|
||||
\end{panel}
|
||||
\note{Говорит В. Н. Копнин. LSA объясняем без формул: таблица частот —
|
||||
взвешивание — сжатие до k осей — короткий вектор для каждой реплики.
|
||||
@@ -509,13 +488,14 @@
|
||||
содержательным словам может кодировать тему. Для этого мы и делали
|
||||
несколько вариантов LSA, чтобы сравнить тематический и стилистический
|
||||
вклад.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Классификаторы}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.49\textwidth}
|
||||
\begin{panel}
|
||||
\small\textbf{Линейные модели}
|
||||
\textbf{Линейные модели}
|
||||
\begin{itemize}
|
||||
\item Логистическая регрессия: «признак $\times$ вес», затем
|
||||
вероятности; редкие классы получают повышенные веса.
|
||||
@@ -526,7 +506,7 @@
|
||||
\end{column}
|
||||
\begin{column}{0.49\textwidth}
|
||||
\begin{panel}
|
||||
\small\textbf{Деревья и ансамбли}
|
||||
\textbf{Деревья и ансамбли}
|
||||
\begin{itemize}
|
||||
\item Случайный лес и ExtraTrees: сотни деревьев; у ExtraTrees
|
||||
пороги выбираются случайно — меньше разброс.
|
||||
@@ -537,7 +517,7 @@
|
||||
\end{column}
|
||||
\end{columns}
|
||||
\begin{panel}
|
||||
\small Сравнивали несколько семейств, чтобы вывод не зависел от одного
|
||||
Сравнивали несколько семейств, чтобы вывод не зависел от одного
|
||||
алгоритма: близкие результаты у разных моделей делают вывод надёжнее.
|
||||
\end{panel}
|
||||
\note{Говорит В. Н. Копнин. Логистическая регрессия — интерпретируемая
|
||||
@@ -545,6 +525,7 @@
|
||||
деревья ловят нелинейные комбинации («многоточие + короткая реплика»), но
|
||||
легко переобучаются на 2005 объектах. Лучший результат дало мягкое
|
||||
голосование трёх моделей; объединение через мета-классификатор было хуже — переобучилось.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Как проверяем}
|
||||
@@ -583,11 +564,12 @@
|
||||
параметров; отложенная выборка — дополнительная проверка. Отдельно
|
||||
переставляли метки: качество упало до случайного уровня, значит сигнал
|
||||
не в «утечке».}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Метрики: что и зачем}
|
||||
\begin{panel}
|
||||
\small
|
||||
|
||||
\begin{tabular}{@{}p{3.9cm}p{9.6cm}@{}}
|
||||
\textbf{Метрика} & \textbf{Что показывает}\\[1mm]
|
||||
\textbf{Macro-F1} & Средняя F-мера по 34 классам: каждый персонаж важен одинаково, включая редких. Основная метрика.\\[1mm]
|
||||
@@ -595,18 +577,54 @@
|
||||
\textbf{Сбалансированная доля} & Средняя полнота по классам: находит ли модель редких персонажей.\\[1mm]
|
||||
\textbf{Тройка лучших (top-3)} & Истинный персонаж оказался в тройке наиболее вероятных ответов.\\[1mm]
|
||||
\textbf{MCC / каппа} & Согласие с поправкой на случайное угадывание.\\[1mm]
|
||||
\textbf{Матрица ошибок} & Кто с кем путается; подробнее — в части 3.\\
|
||||
\end{tabular}
|
||||
\end{panel}
|
||||
\begin{panel}
|
||||
Ориентиры при 34 классах: случайный уровень macro-F1 $\approx$ 0,029,
|
||||
top-3 $\approx$ 0,088. Выводы опираемся на macro-F1, интервалы и матрицу ошибок.
|
||||
top-3 $\approx$ 0,088.
|
||||
\end{panel}
|
||||
\note{Говорит В. Н. Копнин. Главная метрика — macro-F1: она равно
|
||||
взвешивает все 34 класса, включая редких. Доля правильных ответов
|
||||
обманчива при дисбалансе. Смысл всех остальных метрик — словесный, без
|
||||
формул. Ориентиры случайного уровня уже озвучены — они пригодятся в
|
||||
части 3.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Гипотезы исследования}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.57\textwidth}
|
||||
\begin{panel}
|
||||
\textbf{H1.} Функциональные слова, части речи и символьные
|
||||
n-граммы (последовательности соседних символов) различают
|
||||
персонажей выше случайного уровня.\\[0.7mm]
|
||||
\textbf{H2.} На коротких репликах части речи и символьные
|
||||
n-граммы устойчивее словарного богатства и читаемости.\\[0.7mm]
|
||||
\textbf{H3.} LSA по всем словам отражает тему, а LSA по частям
|
||||
речи и функциональным словам — стиль.\\[0.7mm]
|
||||
\textbf{H4.} Качество зависит от длины реплики.\\[0.7mm]
|
||||
\textbf{H5.} Ошибки группируются вокруг персонажей со сходным
|
||||
возрастом, полом, ролью или видом.
|
||||
\end{panel}
|
||||
\end{column}
|
||||
\begin{column}{0.41\textwidth}
|
||||
\begin{panel}
|
||||
\textbf{Как проверяем}
|
||||
\begin{itemize}
|
||||
\item H1 — сравнение моделей и поочерёдное исключение групп.
|
||||
\item H2 — исключение групп и анализ по длине.
|
||||
\item H3 — варианты LSA и контроль содержания.
|
||||
\item H4 — метрики по группам длины.
|
||||
\item H5 — анализ ошибок по метаданным.
|
||||
\end{itemize}
|
||||
\end{panel}
|
||||
\end{column}
|
||||
\end{columns}
|
||||
\note{Говорит А. А. Аладьина. Гипотезы сформулированы до экспериментов.
|
||||
H1 и H2 проверяют, есть ли стилометрический сигнал; H3 — стиль или тему;
|
||||
H4 — влияние длины; H5 — социальные подгруппы. Термин «фолд» появится в
|
||||
методологической части: это часть разбиения при перекрёстной проверке.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
% ==================== БЛОК 3 ====================
|
||||
@@ -616,21 +634,22 @@
|
||||
colframe=cream, boxrule=0pt, arc=2mm, halign=center, boxsep=3mm]
|
||||
{\large Часть 3}\\[1.5mm]
|
||||
{\Large\bfseries Результаты и интерпретация}\\[2mm]
|
||||
\small Оценки качества · вклад признаков · матрицы ошибок · ограничения · выводы\\[2.5mm]
|
||||
Оценки качества · вклад признаков · матрицы ошибок · ограничения · выводы\\[2.5mm]
|
||||
{\bfseries Докладчик: М.~В.~Савостиков}
|
||||
\end{tcolorbox}
|
||||
\end{center}
|
||||
\note{Часть\,3. Говорит М. В. Савостиков. План части: главные числа, что даёт
|
||||
качество, стиль или содержание, кого модель путает, как корректно читать
|
||||
оценки, ограничения и выводы.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Главный результат}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.47\textwidth}
|
||||
\begin{panel}
|
||||
\small
|
||||
\begin{tabular}{@{}p{3.5cm}r@{}}
|
||||
|
||||
\begin{tabular}{@{}p{5cm}r@{}}
|
||||
\textbf{Мягкое голосование (5 фолдов)} & 0,304\\
|
||||
\textbf{ExtraTrees, char = 10\,000} & 0,276\\
|
||||
\textbf{Вложенный выбор} & 0,275\\
|
||||
@@ -639,9 +658,8 @@
|
||||
\end{tabular}
|
||||
\end{panel}
|
||||
\begin{panel}
|
||||
\small Числа — macro-F1. Случайный уровень для 34 классов — 0,029;
|
||||
контроль перестановкой меток вышел на этот уровень, значит сигнал
|
||||
в данных, а не в утечке.
|
||||
Числа — macro-F1. Случайный уровень для 34 классов — 0,029;
|
||||
контроль перестановкой меток вышел на этот уровень, значит в извлеченных характеристиках есть информация.
|
||||
\end{panel}
|
||||
\end{column}
|
||||
\begin{column}{0.52\textwidth}
|
||||
@@ -655,6 +673,7 @@
|
||||
там конфигурация выбиралась честно, внутри обучающей части каждого фолда.
|
||||
На отложенной выборке 0,333, но это одно разбиение. Суть: персонажи
|
||||
действительно различимы.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Что добавляет качество}
|
||||
@@ -666,7 +685,7 @@
|
||||
\end{column}
|
||||
\begin{column}{0.47\textwidth}
|
||||
\begin{panel}
|
||||
\small
|
||||
|
||||
\begin{itemize}
|
||||
\item Только длина: 0,035.
|
||||
\item Ручные стилометрические признаки: 0,105.
|
||||
@@ -686,6 +705,7 @@
|
||||
0,249, лучшая одиночная модель — 0,276, ансамбль — 0,304. Обратный вывод
|
||||
важен тоже: признаки «чистого синтаксиса» сами по себе почти ничего не
|
||||
дают.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Стиль или содержание?}
|
||||
@@ -697,7 +717,7 @@
|
||||
\end{column}
|
||||
\begin{column}{0.49\textwidth}
|
||||
\begin{panel}
|
||||
\small
|
||||
|
||||
\begin{itemize}
|
||||
\item Проверка: содержательные слова (существительные, глаголы,
|
||||
прилагательные, наречия) заменены нейтральным маркером.
|
||||
@@ -717,6 +737,7 @@
|
||||
случайного: какой-то стилевой компонент есть. Из этого следует главная
|
||||
оговорка работы: мы не можем утверждать, что модель выучила «чистый
|
||||
стиль» персонажей — основной вклад даёт тематический профиль.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Матрица ошибок: как читать}
|
||||
@@ -732,12 +753,11 @@
|
||||
\item \textbf{Строки} — истинный персонаж, \textbf{столбцы} —
|
||||
предсказание; \textbf{диагональ} — верные ответы,
|
||||
вне диагонали — ошибки.
|
||||
\item Полная матрица 34$\times$34 нечитаема: показываем top-12;
|
||||
полная — в приложении. Далее — пары ошибок.
|
||||
\item Полная матрица 34$\times$34 нечитаема: показываем top-12.
|
||||
\end{itemize}
|
||||
\end{panel}
|
||||
\begin{panel}
|
||||
\small\textbf{Что видно:} крупная доля вне диагонали у многих строк —
|
||||
\textbf{Что видно:} крупная доля вне диагонали у многих строк —
|
||||
редкие классы «утекают» в популярные.
|
||||
\end{panel}
|
||||
\end{column}
|
||||
@@ -746,6 +766,7 @@
|
||||
строка — кто говорил на самом деле, столбец — кого предсказала модель,
|
||||
диагональ — верные ответы, всё вне диагонали — ошибки. Полные 34 строки не
|
||||
читаются на проекторе, поэтому top-12 + пары + полная матрица в приложении.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Кого модель путает чаще всего}
|
||||
@@ -757,7 +778,7 @@
|
||||
\end{column}
|
||||
\begin{column}{0.47\textwidth}
|
||||
\begin{panel}
|
||||
\small\textbf{Частые пары ошибок (число перепутанных реплик)}
|
||||
\textbf{Частые пары ошибок (число перепутанных реплик)}
|
||||
\begin{itemize}
|
||||
\item Sebastian $\to$ Abigail: 65
|
||||
\item Sebastian $\to$ Alex: 61
|
||||
@@ -766,8 +787,8 @@
|
||||
\end{itemize}
|
||||
Основной клубок — молодые персонажи: Abigail, Alex, Sebastian,
|
||||
Haley, Sam. Один автор и общие сюжетные контексты делают сходство
|
||||
голосов ожидаемым: это не разные авторы. Это коллапс редких классов
|
||||
в классы-аттракторы, а не «демографическая» путаница.
|
||||
голосов ожидаемым. Это коллапс редких классов
|
||||
в классы-аттракторы.
|
||||
\end{panel}
|
||||
\vspace{-1mm}
|
||||
\end{column}
|
||||
@@ -778,13 +799,14 @@
|
||||
стягивание предсказаний к популярным классам, а не доказательство, что эти
|
||||
персонажи «говорят одинаково» — хотя перекрёстные путаницы Sebastian —
|
||||
Abigail — Alex согласуются с их сходными масками.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Классы-аттракторы}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.47\textwidth}
|
||||
\begin{panel}
|
||||
\small\textbf{Классы-аттракторы}
|
||||
\textbf{Классы-аттракторы}
|
||||
\begin{itemize}
|
||||
\item Alex и Abigail собирают заметную долю \emph{чужих}
|
||||
предсказаний: на разных повторах Abigail получает
|
||||
@@ -801,21 +823,18 @@
|
||||
\end{imgbox}
|
||||
\end{column}
|
||||
\end{columns}
|
||||
\begin{panel}
|
||||
\small Диаграмма — доли предсказаний «аттракторных» классов
|
||||
(стягивание предсказаний к популярным классам).
|
||||
\end{panel}
|
||||
\note{Говорит М. В. Савостиков. Проблема редких классов: модель
|
||||
предсказывает популярные классы слишком часто — Abigail получает десятки
|
||||
процентов всех ответов при истинной доле около 7\,\%. Простая коррекция
|
||||
приоров не помогла.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Персонажи: кто различается}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.47\textwidth}
|
||||
\begin{panel}
|
||||
\small\textbf{Лучшие и худшие по F-мере}
|
||||
\textbf{Лучшие и худшие по F-мере}
|
||||
\begin{itemize}
|
||||
\item Лучшие: Evelyn, Willy, Pam, Pierre, Leo.
|
||||
\item Худшие: Kent, Wizard, Penny, Mister Qi, Leah, Abigail.
|
||||
@@ -836,11 +855,12 @@
|
||||
Mister Qi, Leah, Abigail. Редкие классы имеют широкие доверительные
|
||||
интервалы: для 15 реплик разброс оценок велик. Ансамбль прибавляет
|
||||
отдельным редким классам, но Kent не находит никто.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Что означают полученные оценки}
|
||||
\begin{panel}
|
||||
\small
|
||||
|
||||
\begin{itemize}
|
||||
\item 0,30 macro-F1 при 34 классах — примерно \textbf{в 10 раз выше
|
||||
случайного уровня} 0,029: устойчивый сигнал различимости.
|
||||
@@ -853,7 +873,7 @@
|
||||
\end{itemize}
|
||||
\end{panel}
|
||||
\begin{panel}
|
||||
\small
|
||||
|
||||
\begin{itemize}
|
||||
\item Мы решаем задачу «\emph{какой персонаж} говорит», а не
|
||||
«\emph{он или не он} писал»: автор один.
|
||||
@@ -870,13 +890,14 @@
|
||||
сознательно делал разные голоса. (3) Мы определяем персонажа, а не
|
||||
авторскую принадлежность: автор один. И мы не утверждаем, что выучили
|
||||
«чистый стиль»: при маскировании содержания качество сильно падает.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Ограничения}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.49\textwidth}
|
||||
\begin{panel}
|
||||
\small\textbf{Данные}
|
||||
\textbf{Данные}
|
||||
\begin{itemize}
|
||||
\item Один корпус, одна игра, один автор; внешняя валидация
|
||||
не проводилась.
|
||||
@@ -888,7 +909,7 @@
|
||||
\end{column}
|
||||
\begin{column}{0.49\textwidth}
|
||||
\begin{panel}
|
||||
\small\textbf{Методология}
|
||||
\textbf{Методология}
|
||||
\begin{itemize}
|
||||
\item Выбор признаков и ансамбля опирался на прошлые серии;
|
||||
вложенная проверка снижает этот риск, но не устраняет.
|
||||
@@ -905,6 +926,7 @@
|
||||
(частичный выбор конфигураций по прошлым сериям, тематический сигнал в
|
||||
признаках, неудачи простых калибровок). Честное перечисление — часть
|
||||
верификации, а не признание провала.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Выводы}
|
||||
@@ -929,52 +951,25 @@
|
||||
лексико-тематическому профилю; для более сильных утверждений — разные идиолекты,
|
||||
применимость как инструмент — нужны внешний корпус, тематический контроль
|
||||
и разметка сцен.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
% ==================== ПРИЛОЖЕНИЕ ====================
|
||||
\begin{frame}{Приложение: полная матрица ошибок 34$\times$34}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.62\textwidth}
|
||||
\begin{imgbox}
|
||||
\includegraphics[width=\linewidth, height=0.6\textheight, keepaspectratio]{confusion_full34.png}
|
||||
\end{imgbox}
|
||||
\end{column}
|
||||
\begin{column}{0.37\textwidth}
|
||||
\begin{panel}
|
||||
\small Раздаточный материал. Строки — истинные персонажи, столбцы —
|
||||
предсказания; цвет — доля строки; диагональ — верные ответы. Тёмные
|
||||
внедиагональные клетки — систематические ошибки (те же пары, что на
|
||||
предыдущих слайдах).
|
||||
\end{panel}
|
||||
\end{column}
|
||||
\end{columns}
|
||||
\begin{imgbox}
|
||||
\includegraphics[width=\linewidth, height=0.8\textheight, keepaspectratio]{confusion_full34.png}
|
||||
\end{imgbox}
|
||||
\note{Приложение для вопросов и раздаточного материала. Если спросят про
|
||||
конкретную пару персонажей — искать её в полной матрице: строки сортированы
|
||||
по размеру класса, цвет кодирует долю строки. Кто говорит: отвечает
|
||||
М. В. Савостиков (можно подключить В. Н. Копнина по вопросам валидации).}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\begin{frame}{Спасибо за внимание}
|
||||
\begin{columns}[T]
|
||||
\begin{column}{0.55\textwidth}
|
||||
\begin{center}
|
||||
\begin{tcolorbox}[enhanced, width=\linewidth, colback=cream, opacityback=0.9,
|
||||
colframe=cream, boxrule=0pt, arc=2mm, boxsep=2.5mm]
|
||||
{\large\bfseries Спасибо за внимание}\\[2mm]
|
||||
Вопросы, обсуждение и предложения по экспериментам\\[2mm]
|
||||
«Один автор — разные голоса»\\[2mm]
|
||||
\small А.~А.~Аладьина · В.~Н.~Копнин · М.~В.~Савостиков
|
||||
\end{tcolorbox}
|
||||
\end{center}
|
||||
\end{column}
|
||||
\begin{column}{0.44\textwidth}
|
||||
\begin{center}
|
||||
\begin{imgbox}
|
||||
\includegraphics[width=\linewidth, height=0.45\textheight, keepaspectratio]{meme.png}
|
||||
\includegraphics[width=\linewidth, height=0.8\textheight, keepaspectratio]{meme.png}
|
||||
\end{imgbox}
|
||||
\end{center}
|
||||
\end{column}
|
||||
\end{columns}
|
||||
\begin{tikzpicture}[remember picture, overlay]
|
||||
\node[anchor=south east, xshift=-2.5mm, yshift=1.5mm]
|
||||
at (current page.south east)
|
||||
@@ -984,6 +979,7 @@
|
||||
А. А. Аладьина благодарит и передаёт слово для вопросов; по вопросам
|
||||
корпуса отвечает Аладьина, по методологии — Копнин, по результатам —
|
||||
Савостиков.}
|
||||
\slidefooter
|
||||
\end{frame}
|
||||
|
||||
\end{document}
|
||||
|
||||
Reference in New Issue
Block a user