С чего начать

Это архив лабораторной работы №1 по курсу «Автоматический анализ текстов»: стилометрическая классификация реплик персонажей Stardew Valley.

Что внутри

lab1/report/REPORT.pdf — главный отчёт (21 страница).
lab1/report/REPORT.docx — редактируемая версия отчёта.
lab1/report/REPORT.md — исходник отчёта.
lab1/presentation/stardew_stylometry.pdf — презентация для защиты.
lab1/presentation/stardew_stylometry.pptx — редактируемая презентация.
lab1/presentation/latex/ — LaTeX-исходник презентации.
lab1/stylometry/ — код: чтение корпуса, признаки, LSA, модели, кросс-валидация, метрики, верификация.
lab1/data/ — корпус и метаданные.
lab1/tests/ — 33 теста.
lab1/FINAL_RESULTS.csv — сводная таблица результатов.
lab1/exports/nlp_lab1_final_results_20261026_120000.tar.gz — компактный архив финальных результатов (без промежуточных матриц).

Проверка за три минуты

Все команды выполняются из каталога lab1:

cd lab1

python -m venv .venv
source .venv/bin/activate          # Windows: .venv\Scripts\activate
python -m pip install --upgrade pip
python -m pip install -r requirements.txt

python scripts/download_nltk_data.py
python scripts/check_environment.py
python -m pytest -q

Ожидаемый результат:

check_environment.py заканчивается строкой Окружение готово.;
pytest печатает 33 passed;
в корпусе 2005 реплик и 34 персонажа.

Если всё совпало, отчёт и презентацию можно открывать сразу. Для повторного запуска экспериментов смотрите ARCHIVE_README.md.

Главный результат

Что	Значение
Корпус	2005 реплик, 34 персонажа
Основная метрика	macro-F1
Мягкое голосование трёх моделей	0,3036 ± 0,0189
Консервативная оценка (вложенный выбор)	0,2746 ± 0,0233
Случайный уровень	0,029

Основной сигнал — лексико-тематический. После замены содержательных слов нейтральным маркером macro-F1 падает с 0,248 до 0,113. Поэтому в отчёте результат сформулирован как различимость речевых масок по лексико-тематическому профилю, а не как доказательство «чистого» стиля.

Что читать дальше

ARCHIVE_README.md — подробная инструкция: установка, запуск, структура проекта, что делает каждый модуль, как пересобрать отчёт и презентацию.
lab1/RUNBOOK.md — пошаговый запуск полной серии экспериментов.
lab1/README.md — краткое описание проекта и команд.
lab1/FINAL_REPORT.md — расширенная версия отчёта с деталями.
lab1/EXPERIMENTS.md — протокол экспериментов.
lab1/FEATURES.md — формулы и обоснование признаков.
lab1/METRICS_AND_CLASSIFIERS.md — метрики и классификаторы.

Важно

Ресурсы NLTK (nltk_data, около 80 МБ) в архив не включены: они скачиваются командой python scripts/download_nltk_data.py.
Виртуальное окружение, промежуточные матрицы признаков и сырые результаты серий в архив не включены: они восстанавливаются скриптами.
Диалоги Stardew Valley принадлежат ConcernedApe; корпус используется исключительно в учебных и исследовательских целях.

4.5 KiB Raw Permalink Blame History Unescape Escape