82 lines
4.5 KiB
Markdown
82 lines
4.5 KiB
Markdown
# С чего начать
|
||
|
||
Это архив лабораторной работы №1 по курсу «Автоматический анализ текстов»:
|
||
стилометрическая классификация реплик персонажей Stardew Valley.
|
||
|
||
## Что внутри
|
||
|
||
- `lab1/report/REPORT.pdf` — **главный отчёт** (21 страница).
|
||
- `lab1/report/REPORT.docx` — редактируемая версия отчёта.
|
||
- `lab1/report/REPORT.md` — исходник отчёта.
|
||
- `lab1/presentation/stardew_stylometry.pdf` — презентация для защиты.
|
||
- `lab1/presentation/stardew_stylometry.pptx` — редактируемая презентация.
|
||
- `lab1/presentation/latex/` — LaTeX-исходник презентации.
|
||
- `lab1/stylometry/` — код: чтение корпуса, признаки, LSA, модели,
|
||
кросс-валидация, метрики, верификация.
|
||
- `lab1/data/` — корпус и метаданные.
|
||
- `lab1/tests/` — 33 теста.
|
||
- `lab1/FINAL_RESULTS.csv` — сводная таблица результатов.
|
||
- `lab1/exports/nlp_lab1_final_results_20261026_120000.tar.gz` — компактный
|
||
архив финальных результатов (без промежуточных матриц).
|
||
|
||
## Проверка за три минуты
|
||
|
||
Все команды выполняются из каталога `lab1`:
|
||
|
||
```bash
|
||
cd lab1
|
||
|
||
python -m venv .venv
|
||
source .venv/bin/activate # Windows: .venv\Scripts\activate
|
||
python -m pip install --upgrade pip
|
||
python -m pip install -r requirements.txt
|
||
|
||
python scripts/download_nltk_data.py
|
||
python scripts/check_environment.py
|
||
python -m pytest -q
|
||
```
|
||
|
||
Ожидаемый результат:
|
||
|
||
- `check_environment.py` заканчивается строкой `Окружение готово.`;
|
||
- `pytest` печатает `33 passed`;
|
||
- в корпусе 2005 реплик и 34 персонажа.
|
||
|
||
Если всё совпало, отчёт и презентацию можно открывать сразу. Для повторного
|
||
запуска экспериментов смотрите `ARCHIVE_README.md`.
|
||
|
||
## Главный результат
|
||
|
||
| Что | Значение |
|
||
|---|---:|
|
||
| Корпус | 2005 реплик, 34 персонажа |
|
||
| Основная метрика | macro-F1 |
|
||
| Мягкое голосование трёх моделей | **0,3036 ± 0,0189** |
|
||
| Консервативная оценка (вложенный выбор) | **0,2746 ± 0,0233** |
|
||
| Случайный уровень | **0,029** |
|
||
|
||
Основной сигнал — лексико-тематический. После замены содержательных слов
|
||
нейтральным маркером macro-F1 падает с 0,248 до 0,113. Поэтому в отчёте
|
||
результат сформулирован как различимость **речевых масок по
|
||
лексико-тематическому профилю**, а не как доказательство «чистого» стиля.
|
||
|
||
## Что читать дальше
|
||
|
||
1. `ARCHIVE_README.md` — подробная инструкция: установка, запуск, структура
|
||
проекта, что делает каждый модуль, как пересобрать отчёт и презентацию.
|
||
2. `lab1/RUNBOOK.md` — пошаговый запуск полной серии экспериментов.
|
||
3. `lab1/README.md` — краткое описание проекта и команд.
|
||
4. `lab1/FINAL_REPORT.md` — расширенная версия отчёта с деталями.
|
||
5. `lab1/EXPERIMENTS.md` — протокол экспериментов.
|
||
6. `lab1/FEATURES.md` — формулы и обоснование признаков.
|
||
7. `lab1/METRICS_AND_CLASSIFIERS.md` — метрики и классификаторы.
|
||
|
||
## Важно
|
||
|
||
- Ресурсы NLTK (`nltk_data`, около 80 МБ) в архив не включены: они
|
||
скачиваются командой `python scripts/download_nltk_data.py`.
|
||
- Виртуальное окружение, промежуточные матрицы признаков и сырые результаты
|
||
серий в архив не включены: они восстанавливаются скриптами.
|
||
- Диалоги Stardew Valley принадлежат ConcernedApe; корпус используется
|
||
исключительно в учебных и исследовательских целях.
|