diff --git a/lab1/presentation/latex/stardew_stylometry.pdf b/lab1/presentation/latex/stardew_stylometry.pdf index 4d7c06b..60be391 100644 Binary files a/lab1/presentation/latex/stardew_stylometry.pdf and b/lab1/presentation/latex/stardew_stylometry.pdf differ diff --git a/lab1/presentation/latex/stardew_stylometry.tex b/lab1/presentation/latex/stardew_stylometry.tex index 09a6b3e..9f5ac36 100644 --- a/lab1/presentation/latex/stardew_stylometry.tex +++ b/lab1/presentation/latex/stardew_stylometry.tex @@ -12,6 +12,7 @@ \usetikzlibrary{calc} \usepackage[most]{tcolorbox} \usepackage{graphicx} +\usepackage{etoolbox} \graphicspath{{../images/}{../generated/}} @@ -35,6 +36,19 @@ \setbeamertemplate{itemize item}{\textbullet} \setbeamertemplate{itemize subitem}{--} +% ---------- Нижний колонтитул: номер слайда и сколько осталось ---------- +% Рисуется в конце каждой рамки поверх содержимого и не меняет вёрстку. +\newcommand{\slidefooter}{% + \begin{tikzpicture}[remember picture, overlay] + \node[anchor=north east, xshift=-0.55cm, yshift=-0.22cm] + at (current page.north east) + {\colorbox{cream}{\scriptsize\color{inkbrown}% + Слайд \insertframenumber\ из \inserttotalframenumber + \quad·\quad осталось: \the\numexpr\inserttotalframenumber-\insertframenumber\relax}}; + \end{tikzpicture}% +} + + % ---------- Фон: изображение + маленькая курица на каждом слайде ---------- \usebackgroundtemplate{% \begin{tikzpicture}[remember picture, overlay] @@ -96,10 +110,11 @@ colframe=cream, boxrule=0pt, arc=2mm, halign=center, boxsep=2mm] {\large\bfseries Стилометрическая классификация реплик персонажей Stardew Valley}\\[2mm] {\normalsize Можно ли различить голоса персонажей, \\ если все реплики написаны одним автором?}\\[2.4mm] - \small А.~А.~Аладьина \quad·\quad В.~Н.~Копнин \quad·\quad М.~В.~Савостиков\\[0.8mm] + А.~А.~Аладьина \quad·\quad В.~Н.~Копнин \quad·\quad М.~В.~Савостиков\\[0.8mm] \footnotesize ПИЭ-13МО \end{tcolorbox} \end{center} +\slidefooter \end{frame} % ==================== БЛОК 1 ==================== @@ -109,20 +124,21 @@ colframe=cream, boxrule=0pt, arc=2mm, halign=center, boxsep=3mm] {\large Часть 1}\\[1.5mm] {\Large\bfseries Решаемая задача и корпус}\\[2mm] - \small Постановка задачи · сбор и очистка данных · характеристики корпуса\\[2.5mm] + Постановка задачи · сбор и очистка данных · характеристики корпуса\\[2.5mm] {\bfseries Докладчик: А.~А.~Аладьина} \end{tcolorbox} \end{center} \note{Часть\,1. Говорит А. А. Аладьина. План части: что за задача мы решаем, её формальная постановка, как собирали и чистили корпус, и какими характеристиками он обладает.} +\slidefooter \end{frame} \begin{frame}{Задача и постановка} \begin{columns}[T] \begin{column}{0.57\textwidth} \begin{panel} - \small + \textbf{Решаемая задача} \begin{itemize} \item Дано: 2005 коротких реплик, 34 персонажа, один автор. @@ -135,13 +151,12 @@ \end{column} \begin{column}{0.41\textwidth} \begin{panel} - \small + \textbf{Обозначения}\\[1mm] $D=\{(x_i,\,y_i)\}_{i=1}^{n}$,\quad $n=2005$;\\ $x_i$ — реплика;\\ $y_i\in Y$, \ $|Y|=34$ — персонаж;\\ $f$ — классификатор.\\[1.5mm] - Единственная формальная запись в докладе.\\ Критерий качества — макро-F1: средняя F-мера по 34 классам. \end{panel} \end{column} @@ -150,45 +165,9 @@ текстов. Формула одна: D — корпус, x — реплика, y — персонаж, f — классификатор. Дальше все определения даются словами. Подчеркнуть: это не авторская атрибуция, автор один; мы различаем речевые маски.} +\slidefooter \end{frame} -\begin{frame}{Гипотезы исследования} - \begin{columns}[T] - \begin{column}{0.57\textwidth} - \begin{panel} - \footnotesize - \textbf{H1.} Функциональные слова, части речи и символьные - n-граммы (последовательности соседних символов) различают - персонажей выше случайного уровня.\\[0.7mm] - \textbf{H2.} На коротких репликах части речи и символьные - n-граммы устойчивее словарного богатства и читаемости.\\[0.7mm] - \textbf{H3.} LSA по всем словам отражает тему, а LSA по частям - речи и функциональным словам — стиль.\\[0.7mm] - \textbf{H4.} Качество зависит от длины реплики.\\[0.7mm] - \textbf{H5.} Ошибки группируются вокруг персонажей со сходным - возрастом, полом, ролью или видом. - \end{panel} - \end{column} - \begin{column}{0.41\textwidth} - \begin{panel} - \footnotesize\textbf{Как проверяем} - \begin{itemize} - \item H1 — сравнение моделей и поочерёдное исключение групп. - \item H2 — исключение групп и анализ по длине. - \item H3 — варианты LSA и контроль содержания. - \item H4 — метрики по группам длины. - \item H5 — анализ ошибок по метаданным. - \end{itemize} - \end{panel} - \end{column} - \end{columns} - \note{Говорит А. А. Аладьина. Гипотезы сформулированы до экспериментов. - H1 и H2 проверяют, есть ли стилометрический сигнал; H3 — стиль или тему; - H4 — влияние длины; H5 — социальные подгруппы. Термин «фолд» появится в - методологической части: это часть разбиения при перекрёстной проверке.} -\end{frame} - - \begin{frame}{Корпус: сбор, разметка, очистка} \begin{columns}[T] \begin{column}{0.33\textwidth} @@ -223,18 +202,19 @@ \end{panel} \end{column} \end{columns} - \vspace{-2mm} \begin{panel} \footnotesize \textbf{Ограничения данных:} ручная фильтрация; нет идентификаторов сцен. \end{panel} +\slidefooter \end{frame} -\begin{frame}{Персонажи корпуса} +\begin{frame}{Игровые персонажи} \begin{center} \begin{imgbox} \includegraphics[height=0.65\textheight]{characters.png} \end{imgbox} \end{center} +\slidefooter \end{frame} \begin{frame}{Характеристики корпуса: классы} @@ -248,7 +228,7 @@ \end{column} \begin{column}{0.57\textwidth} \begin{panel} - \small + \begin{tabular}{@{}p{3.2cm}p{3.6cm}@{}} \textbf{Реплик} & 2005\\[0.8mm] \textbf{Персонажей} & 34\\[0.8mm] @@ -259,12 +239,13 @@ \end{tabular} \end{panel} \begin{panel} - \small Дисбаланс почти десятикратный: от 15 до 139 реплик. Поэтому + Дисбаланс почти десятикратный: от 15 до 139 реплик. Поэтому доля правильных ответов обманчива; основная метрика — макро усреднённая F-мера по классам. \end{panel} \end{column} \end{columns} +\slidefooter \end{frame} \begin{frame}{Характеристики корпуса: длина реплик} @@ -284,7 +265,7 @@ \end{panel} \begin{panel} \begin{itemize} - \item Короткие реплики дают мало стилометрических свидетельств. + \item Короткие реплики дают мало информации для стилометрических характеристик. \item Длина сама по себе — сильный, но опасный признак: она может подменять «стиль» просто узнаванием персонажа. \item Поэтому её вклад проверялся отдельно: с исключением @@ -297,6 +278,7 @@ диапазон 3–78. На таких коротких текстах признаки словарного богатства и читаемости нестабильны — это одна из причин низких абсолютных значений качества, о которых расскажет третий докладчик.} +\slidefooter \end{frame} % ==================== БЛОК 2 ==================== @@ -306,13 +288,14 @@ colframe=cream, boxrule=0pt, arc=2mm, halign=center, boxsep=3mm] {\large Часть 2}\\[1.5mm] {\Large\bfseries Методология: как измеряем стиль}\\[2mm] - \small Признаки · LSA · классификаторы · схема проверки · метрики\\[2.5mm] + Признаки · LSA · классификаторы · схема проверки · метрики\\[2.5mm] {\bfseries Докладчик: В.~Н.~Копнин} \end{tcolorbox} \end{center} \note{Часть\,2. Говорит В. Н. Копнин. План части: общая схема конвейера, какие признаки строим, как работает LSA, какие модели сравнивали и как устроена проверка, чтобы не обмануть себя.} +\slidefooter \end{frame} \begin{frame}{Термины, которые встретятся дальше} @@ -337,7 +320,7 @@ \begin{column}{0.49\textwidth} \begin{panel} \footnotesize - \textbf{n-грамма} — последовательность $n$ соседних единиц: + \textbf{n-грамм} — последовательность $n$ соседних единиц: символов, слов или POS-тегов.\\[0.8mm] \textbf{LSA} — сжатие таблицы «документ $\times$ признак» в несколько скрытых компонент.\\[0.8mm] @@ -357,6 +340,7 @@ Universal POS — не «ещё одна модель», а универсальный набор частеречных тегов; POS-граммы — последовательности этих тегов. Клауза и синтаксис-прокси — приблизительные, но интерпретируемые оценки синтаксиса.} +\slidefooter \end{frame} @@ -394,13 +378,13 @@ преобразований и в конце — в вектор чисел, по которому модель выбирает класс. Ключевое правило: всё, что «учится» на данных, учится только на обучающей части каждой проверки.} +\slidefooter \end{frame} \begin{frame}{454 ручных признака: 11 групп} \begin{panel} - \scriptsize - \begin{tabular}{@{}p{3.7cm}p{7.8cm}@{}} + \begin{tabular}{@{}p{4cm}p{9.7cm}@{}} \textbf{Группа} & \textbf{Примеры признаков} \\ \hline Длина & число слов, символов, предложений; длина предложения \\ Лексика & длины слов, апострофы, заглавные буквы, цифры \\ @@ -415,26 +399,20 @@ Разговорные маркеры & междометия, смех, хеджи, вежливость, сокращения \\ \end{tabular} \end{panel} - \begin{panel} - \scriptsize - \textbf{454} — суммарное число ручных признаков; часть групп - (словарное богатство, читаемость) помечена как предварительная. - Функциональные слова, части речи, пунктуация и разговорные маркеры — - основные группы для коротких реплик. - \end{panel} \note{Говорит В. Н. Копнин. Это расшифровка одиннадцати групп. Не нужно запоминать все 454 признака: важнее логика — длина, лексика, пунктуация, служебные слова, части речи, синтаксис, читаемость и разговорные маркеры. Словарное богатство и читаемость на коротких репликах нестабильны.} +\slidefooter \end{frame} \begin{frame}{Автоматические признаки: n-граммы и LSA} \begin{columns}[T] \begin{column}{0.49\textwidth} \begin{panel} - \small\textbf{n-граммы} + \textbf{n-граммы} \begin{itemize} - \item \textbf{n-грамма} — последовательность $n$ соседних + \item \textbf{n-грамм} — последовательность $n$ соседних единиц: символов, слов или POS-тегов. \item Символьные n-граммы 2–5: морфология, пунктуация, орфография. @@ -447,7 +425,7 @@ \end{column} \begin{column}{0.49\textwidth} \begin{panel} - \small\textbf{LSA} + \textbf{LSA} \begin{itemize} \item Сжатие таблицы «реплика $\times$ признак» в $k$ скрытых компонент. @@ -460,7 +438,7 @@ \end{column} \end{columns} \begin{panel} - \small Символьные n-граммы чувствительны к морфологии и пунктуации; + Символьные n-граммы чувствительны к морфологии и пунктуации; n-граммы POS-тегов — к порядку частей речи; LSA сжимает разреженные признаки в несколько чисел. Это три разных взгляда на стиль. \end{panel} @@ -468,13 +446,14 @@ единиц. Символьные n-граммы ловят морфологию и пунктуацию, n-граммы POS-тегов — синтаксические шаблоны. LSA не «понимает» текст: он сжимает таблицу признаков в несколько скрытых компонент.} +\slidefooter \end{frame} \begin{frame}{LSA простыми словами} \begin{columns}[T] \begin{column}{0.49\textwidth} \begin{panel} - \small\textbf{Идея} + \textbf{Идея} \begin{itemize} \item Строим таблицу «реплика $\times$ слово», взвешиваем частоты через TF-IDF. @@ -486,7 +465,7 @@ \end{column} \begin{column}{0.49\textwidth} \begin{panel} - \small\textbf{Варианты LSA} + \textbf{Варианты LSA} \begin{itemize} \item \texttt{word} — лексика и тема. \item \texttt{content} — содержание без служебных слов. @@ -500,8 +479,8 @@ \begin{panel} $k$ подбирался в диапазоне 50–400; для \texttt{content}-LSA качество устойчиво росло до 400. - Ключевой вопрос: LSA по содержательным словам ловит \emph{тему}, а не - только стиль. + Ключевой вопрос: ловит ли LSA по содержательным словам \emph{тему}, а не + только стиль? \end{panel} \note{Говорит В. Н. Копнин. LSA объясняем без формул: таблица частот — взвешивание — сжатие до k осей — короткий вектор для каждой реплики. @@ -509,13 +488,14 @@ содержательным словам может кодировать тему. Для этого мы и делали несколько вариантов LSA, чтобы сравнить тематический и стилистический вклад.} +\slidefooter \end{frame} \begin{frame}{Классификаторы} \begin{columns}[T] \begin{column}{0.49\textwidth} \begin{panel} - \small\textbf{Линейные модели} + \textbf{Линейные модели} \begin{itemize} \item Логистическая регрессия: «признак $\times$ вес», затем вероятности; редкие классы получают повышенные веса. @@ -526,7 +506,7 @@ \end{column} \begin{column}{0.49\textwidth} \begin{panel} - \small\textbf{Деревья и ансамбли} + \textbf{Деревья и ансамбли} \begin{itemize} \item Случайный лес и ExtraTrees: сотни деревьев; у ExtraTrees пороги выбираются случайно — меньше разброс. @@ -537,7 +517,7 @@ \end{column} \end{columns} \begin{panel} - \small Сравнивали несколько семейств, чтобы вывод не зависел от одного + Сравнивали несколько семейств, чтобы вывод не зависел от одного алгоритма: близкие результаты у разных моделей делают вывод надёжнее. \end{panel} \note{Говорит В. Н. Копнин. Логистическая регрессия — интерпретируемая @@ -545,6 +525,7 @@ деревья ловят нелинейные комбинации («многоточие + короткая реплика»), но легко переобучаются на 2005 объектах. Лучший результат дало мягкое голосование трёх моделей; объединение через мета-классификатор было хуже — переобучилось.} +\slidefooter \end{frame} \begin{frame}{Как проверяем} @@ -583,11 +564,12 @@ параметров; отложенная выборка — дополнительная проверка. Отдельно переставляли метки: качество упало до случайного уровня, значит сигнал не в «утечке».} +\slidefooter \end{frame} \begin{frame}{Метрики: что и зачем} \begin{panel} - \small + \begin{tabular}{@{}p{3.9cm}p{9.6cm}@{}} \textbf{Метрика} & \textbf{Что показывает}\\[1mm] \textbf{Macro-F1} & Средняя F-мера по 34 классам: каждый персонаж важен одинаково, включая редких. Основная метрика.\\[1mm] @@ -595,18 +577,54 @@ \textbf{Сбалансированная доля} & Средняя полнота по классам: находит ли модель редких персонажей.\\[1mm] \textbf{Тройка лучших (top-3)} & Истинный персонаж оказался в тройке наиболее вероятных ответов.\\[1mm] \textbf{MCC / каппа} & Согласие с поправкой на случайное угадывание.\\[1mm] - \textbf{Матрица ошибок} & Кто с кем путается; подробнее — в части 3.\\ \end{tabular} \end{panel} \begin{panel} Ориентиры при 34 классах: случайный уровень macro-F1 $\approx$ 0,029, - top-3 $\approx$ 0,088. Выводы опираемся на macro-F1, интервалы и матрицу ошибок. + top-3 $\approx$ 0,088. \end{panel} \note{Говорит В. Н. Копнин. Главная метрика — macro-F1: она равно взвешивает все 34 класса, включая редких. Доля правильных ответов обманчива при дисбалансе. Смысл всех остальных метрик — словесный, без формул. Ориентиры случайного уровня уже озвучены — они пригодятся в части 3.} +\slidefooter +\end{frame} + +\begin{frame}{Гипотезы исследования} + \begin{columns}[T] + \begin{column}{0.57\textwidth} + \begin{panel} + \textbf{H1.} Функциональные слова, части речи и символьные + n-граммы (последовательности соседних символов) различают + персонажей выше случайного уровня.\\[0.7mm] + \textbf{H2.} На коротких репликах части речи и символьные + n-граммы устойчивее словарного богатства и читаемости.\\[0.7mm] + \textbf{H3.} LSA по всем словам отражает тему, а LSA по частям + речи и функциональным словам — стиль.\\[0.7mm] + \textbf{H4.} Качество зависит от длины реплики.\\[0.7mm] + \textbf{H5.} Ошибки группируются вокруг персонажей со сходным + возрастом, полом, ролью или видом. + \end{panel} + \end{column} + \begin{column}{0.41\textwidth} + \begin{panel} + \textbf{Как проверяем} + \begin{itemize} + \item H1 — сравнение моделей и поочерёдное исключение групп. + \item H2 — исключение групп и анализ по длине. + \item H3 — варианты LSA и контроль содержания. + \item H4 — метрики по группам длины. + \item H5 — анализ ошибок по метаданным. + \end{itemize} + \end{panel} + \end{column} + \end{columns} + \note{Говорит А. А. Аладьина. Гипотезы сформулированы до экспериментов. + H1 и H2 проверяют, есть ли стилометрический сигнал; H3 — стиль или тему; + H4 — влияние длины; H5 — социальные подгруппы. Термин «фолд» появится в + методологической части: это часть разбиения при перекрёстной проверке.} +\slidefooter \end{frame} % ==================== БЛОК 3 ==================== @@ -616,21 +634,22 @@ colframe=cream, boxrule=0pt, arc=2mm, halign=center, boxsep=3mm] {\large Часть 3}\\[1.5mm] {\Large\bfseries Результаты и интерпретация}\\[2mm] - \small Оценки качества · вклад признаков · матрицы ошибок · ограничения · выводы\\[2.5mm] + Оценки качества · вклад признаков · матрицы ошибок · ограничения · выводы\\[2.5mm] {\bfseries Докладчик: М.~В.~Савостиков} \end{tcolorbox} \end{center} \note{Часть\,3. Говорит М. В. Савостиков. План части: главные числа, что даёт качество, стиль или содержание, кого модель путает, как корректно читать оценки, ограничения и выводы.} +\slidefooter \end{frame} \begin{frame}{Главный результат} \begin{columns}[T] \begin{column}{0.47\textwidth} \begin{panel} - \small - \begin{tabular}{@{}p{3.5cm}r@{}} + + \begin{tabular}{@{}p{5cm}r@{}} \textbf{Мягкое голосование (5 фолдов)} & 0,304\\ \textbf{ExtraTrees, char = 10\,000} & 0,276\\ \textbf{Вложенный выбор} & 0,275\\ @@ -639,9 +658,8 @@ \end{tabular} \end{panel} \begin{panel} - \small Числа — macro-F1. Случайный уровень для 34 классов — 0,029; - контроль перестановкой меток вышел на этот уровень, значит сигнал - в данных, а не в утечке. + Числа — macro-F1. Случайный уровень для 34 классов — 0,029; + контроль перестановкой меток вышел на этот уровень, значит в извлеченных характеристиках есть информация. \end{panel} \end{column} \begin{column}{0.52\textwidth} @@ -655,6 +673,7 @@ там конфигурация выбиралась честно, внутри обучающей части каждого фолда. На отложенной выборке 0,333, но это одно разбиение. Суть: персонажи действительно различимы.} +\slidefooter \end{frame} \begin{frame}{Что добавляет качество} @@ -666,7 +685,7 @@ \end{column} \begin{column}{0.47\textwidth} \begin{panel} - \small + \begin{itemize} \item Только длина: 0,035. \item Ручные стилометрические признаки: 0,105. @@ -686,6 +705,7 @@ 0,249, лучшая одиночная модель — 0,276, ансамбль — 0,304. Обратный вывод важен тоже: признаки «чистого синтаксиса» сами по себе почти ничего не дают.} +\slidefooter \end{frame} \begin{frame}{Стиль или содержание?} @@ -697,7 +717,7 @@ \end{column} \begin{column}{0.49\textwidth} \begin{panel} - \small + \begin{itemize} \item Проверка: содержательные слова (существительные, глаголы, прилагательные, наречия) заменены нейтральным маркером. @@ -717,6 +737,7 @@ случайного: какой-то стилевой компонент есть. Из этого следует главная оговорка работы: мы не можем утверждать, что модель выучила «чистый стиль» персонажей — основной вклад даёт тематический профиль.} +\slidefooter \end{frame} \begin{frame}{Матрица ошибок: как читать} @@ -732,12 +753,11 @@ \item \textbf{Строки} — истинный персонаж, \textbf{столбцы} — предсказание; \textbf{диагональ} — верные ответы, вне диагонали — ошибки. - \item Полная матрица 34$\times$34 нечитаема: показываем top-12; - полная — в приложении. Далее — пары ошибок. + \item Полная матрица 34$\times$34 нечитаема: показываем top-12. \end{itemize} \end{panel} \begin{panel} - \small\textbf{Что видно:} крупная доля вне диагонали у многих строк — + \textbf{Что видно:} крупная доля вне диагонали у многих строк — редкие классы «утекают» в популярные. \end{panel} \end{column} @@ -746,6 +766,7 @@ строка — кто говорил на самом деле, столбец — кого предсказала модель, диагональ — верные ответы, всё вне диагонали — ошибки. Полные 34 строки не читаются на проекторе, поэтому top-12 + пары + полная матрица в приложении.} +\slidefooter \end{frame} \begin{frame}{Кого модель путает чаще всего} @@ -757,7 +778,7 @@ \end{column} \begin{column}{0.47\textwidth} \begin{panel} - \small\textbf{Частые пары ошибок (число перепутанных реплик)} + \textbf{Частые пары ошибок (число перепутанных реплик)} \begin{itemize} \item Sebastian $\to$ Abigail: 65 \item Sebastian $\to$ Alex: 61 @@ -766,8 +787,8 @@ \end{itemize} Основной клубок — молодые персонажи: Abigail, Alex, Sebastian, Haley, Sam. Один автор и общие сюжетные контексты делают сходство - голосов ожидаемым: это не разные авторы. Это коллапс редких классов - в классы-аттракторы, а не «демографическая» путаница. + голосов ожидаемым. Это коллапс редких классов + в классы-аттракторы. \end{panel} \vspace{-1mm} \end{column} @@ -778,13 +799,14 @@ стягивание предсказаний к популярным классам, а не доказательство, что эти персонажи «говорят одинаково» — хотя перекрёстные путаницы Sebastian — Abigail — Alex согласуются с их сходными масками.} +\slidefooter \end{frame} \begin{frame}{Классы-аттракторы} \begin{columns}[T] \begin{column}{0.47\textwidth} \begin{panel} - \small\textbf{Классы-аттракторы} + \textbf{Классы-аттракторы} \begin{itemize} \item Alex и Abigail собирают заметную долю \emph{чужих} предсказаний: на разных повторах Abigail получает @@ -801,21 +823,18 @@ \end{imgbox} \end{column} \end{columns} - \begin{panel} - \small Диаграмма — доли предсказаний «аттракторных» классов - (стягивание предсказаний к популярным классам). - \end{panel} \note{Говорит М. В. Савостиков. Проблема редких классов: модель предсказывает популярные классы слишком часто — Abigail получает десятки процентов всех ответов при истинной доле около 7\,\%. Простая коррекция приоров не помогла.} +\slidefooter \end{frame} \begin{frame}{Персонажи: кто различается} \begin{columns}[T] \begin{column}{0.47\textwidth} \begin{panel} - \small\textbf{Лучшие и худшие по F-мере} + \textbf{Лучшие и худшие по F-мере} \begin{itemize} \item Лучшие: Evelyn, Willy, Pam, Pierre, Leo. \item Худшие: Kent, Wizard, Penny, Mister Qi, Leah, Abigail. @@ -836,11 +855,12 @@ Mister Qi, Leah, Abigail. Редкие классы имеют широкие доверительные интервалы: для 15 реплик разброс оценок велик. Ансамбль прибавляет отдельным редким классам, но Kent не находит никто.} +\slidefooter \end{frame} \begin{frame}{Что означают полученные оценки} \begin{panel} - \small + \begin{itemize} \item 0,30 macro-F1 при 34 классах — примерно \textbf{в 10 раз выше случайного уровня} 0,029: устойчивый сигнал различимости. @@ -853,7 +873,7 @@ \end{itemize} \end{panel} \begin{panel} - \small + \begin{itemize} \item Мы решаем задачу «\emph{какой персонаж} говорит», а не «\emph{он или не он} писал»: автор один. @@ -870,13 +890,14 @@ сознательно делал разные голоса. (3) Мы определяем персонажа, а не авторскую принадлежность: автор один. И мы не утверждаем, что выучили «чистый стиль»: при маскировании содержания качество сильно падает.} +\slidefooter \end{frame} \begin{frame}{Ограничения} \begin{columns}[T] \begin{column}{0.49\textwidth} \begin{panel} - \small\textbf{Данные} + \textbf{Данные} \begin{itemize} \item Один корпус, одна игра, один автор; внешняя валидация не проводилась. @@ -888,7 +909,7 @@ \end{column} \begin{column}{0.49\textwidth} \begin{panel} - \small\textbf{Методология} + \textbf{Методология} \begin{itemize} \item Выбор признаков и ансамбля опирался на прошлые серии; вложенная проверка снижает этот риск, но не устраняет. @@ -905,6 +926,7 @@ (частичный выбор конфигураций по прошлым сериям, тематический сигнал в признаках, неудачи простых калибровок). Честное перечисление — часть верификации, а не признание провала.} +\slidefooter \end{frame} \begin{frame}{Выводы} @@ -929,52 +951,25 @@ лексико-тематическому профилю; для более сильных утверждений — разные идиолекты, применимость как инструмент — нужны внешний корпус, тематический контроль и разметка сцен.} +\slidefooter \end{frame} % ==================== ПРИЛОЖЕНИЕ ==================== \begin{frame}{Приложение: полная матрица ошибок 34$\times$34} - \begin{columns}[T] - \begin{column}{0.62\textwidth} - \begin{imgbox} - \includegraphics[width=\linewidth, height=0.6\textheight, keepaspectratio]{confusion_full34.png} - \end{imgbox} - \end{column} - \begin{column}{0.37\textwidth} - \begin{panel} - \small Раздаточный материал. Строки — истинные персонажи, столбцы — - предсказания; цвет — доля строки; диагональ — верные ответы. Тёмные - внедиагональные клетки — систематические ошибки (те же пары, что на - предыдущих слайдах). - \end{panel} - \end{column} - \end{columns} + \begin{imgbox} + \includegraphics[width=\linewidth, height=0.8\textheight, keepaspectratio]{confusion_full34.png} + \end{imgbox} \note{Приложение для вопросов и раздаточного материала. Если спросят про конкретную пару персонажей — искать её в полной матрице: строки сортированы по размеру класса, цвет кодирует долю строки. Кто говорит: отвечает М. В. Савостиков (можно подключить В. Н. Копнина по вопросам валидации).} +\slidefooter \end{frame} \begin{frame}{Спасибо за внимание} - \begin{columns}[T] - \begin{column}{0.55\textwidth} - \begin{center} - \begin{tcolorbox}[enhanced, width=\linewidth, colback=cream, opacityback=0.9, - colframe=cream, boxrule=0pt, arc=2mm, boxsep=2.5mm] - {\large\bfseries Спасибо за внимание}\\[2mm] - Вопросы, обсуждение и предложения по экспериментам\\[2mm] - «Один автор — разные голоса»\\[2mm] - \small А.~А.~Аладьина · В.~Н.~Копнин · М.~В.~Савостиков - \end{tcolorbox} - \end{center} - \end{column} - \begin{column}{0.44\textwidth} - \begin{center} \begin{imgbox} - \includegraphics[width=\linewidth, height=0.45\textheight, keepaspectratio]{meme.png} + \includegraphics[width=\linewidth, height=0.8\textheight, keepaspectratio]{meme.png} \end{imgbox} - \end{center} - \end{column} - \end{columns} \begin{tikzpicture}[remember picture, overlay] \node[anchor=south east, xshift=-2.5mm, yshift=1.5mm] at (current page.south east) @@ -984,6 +979,7 @@ А. А. Аладьина благодарит и передаёт слово для вопросов; по вопросам корпуса отвечает Аладьина, по методологии — Копнин, по результатам — Савостиков.} +\slidefooter \end{frame} \end{document}