README: запуск (prod/dev), архитектура, устройство парсера, API, деплой
This commit is contained in:
196
README.md
Normal file
196
README.md
Normal file
@@ -0,0 +1,196 @@
|
||||
# Расписание
|
||||
|
||||
Публичное расписание учебных групп факультета: источник данных — Яндекс.Таблица
|
||||
университета (файл xlsx), который скачивается, разбирается, превращается в JSON
|
||||
API и отображается на фронте. Деплой: `schedule.our-place.ru`.
|
||||
|
||||
## Архитектура
|
||||
|
||||
```
|
||||
Яндекс.Диск (xlsx)
|
||||
│ скачивание по публичной ссылке
|
||||
▼
|
||||
api (FastAPI), порт 8000, доступ только с localhost
|
||||
• скачивает и разбирает xlsx без сторонних библиотек
|
||||
• кэш в памяти: TTL + проверка даты изменения файла + stale-while-error
|
||||
• один воркер, поэтому кэш общий
|
||||
▲ SCHEDULE_API=http://api:8000 (внутри docker-сети)
|
||||
│ SCHEDULE_API=http://127.0.0.1:8000 (локальная разработка)
|
||||
frontend (FastAPI: статика + прокси), прод :8090, dev :8080
|
||||
• отдаёт index.html / app.js / style.css / картинки
|
||||
• /api/* — тонкий прокси к api (браузер не знает адрес бэкенда)
|
||||
▲
|
||||
nginx (https://schedule.our-place.ru) → 127.0.0.1:8090
|
||||
```
|
||||
|
||||
## Как устроено расписание в таблице
|
||||
|
||||
Лист «Бакалавры и магистры» — это сетка:
|
||||
|
||||
```
|
||||
столбцы 0–1 даты «числителя»: начало и конец недели (серийные номера Excel)
|
||||
столбцы 2–3 даты «знаменателя»
|
||||
столбец 4 день недели (указан один раз на блок дня)
|
||||
столбец 5 номер пары и время (ячейка объединена на две строки пары)
|
||||
столбцы 6+ группы — по одному столбцу на группу (скрытые столбцы пропускаются)
|
||||
```
|
||||
|
||||
Каждый день занимает блок строк, и строки идут парами: «числитель» /
|
||||
«знаменатель». У каждой пары строк — своя неделя семестра, а даты в ячейках —
|
||||
это соседние недели по порядку. Поэтому недели семестра собираются со всего
|
||||
листа (повторы отбрасываются по паре «чётность + дата»), а текущая чётность
|
||||
(«Сейчас» на бейдже) определяется по сегодняшней дате.
|
||||
|
||||
## Как разбирается ячейка занятия
|
||||
|
||||
Ячейка свободного формата, и её содержимое проходит единый конвейер
|
||||
(`schedule/lessons.py`) без особых веток на число строк:
|
||||
|
||||
1. Красные фрагменты (в xlsx помечаются как `⟪...⟫` ещё при чтении строк)
|
||||
выносятся в поле `note` и из остального текста убираются, даже если внутри
|
||||
них спрятано другое занятие; обрамляющие скобки у таких пометок снимаются.
|
||||
2. Маркер курса по выбору «к.в. [- N]» может быть отдельной строкой или
|
||||
префиксом предмета. Если в ячейке несколько курсов, а маркер один, его
|
||||
получают все курсы этой ячейки.
|
||||
3. Каждая строка относится к одной из ролей:
|
||||
- **аудитория** — `ауд. N`, `каб. N`, URL, `онлайн`, `зал…` (включая
|
||||
корпус: «юридический корпус, 3 этаж ауд. 22»);
|
||||
- **преподаватель** — фамилия с инициалами (`Смирнов А.В.`), полное ФИО,
|
||||
организация (`ПравоТех`, `НПО Криста`); преподавателей может быть
|
||||
несколько (через `,` или `/`); имя допускается в одной строке
|
||||
с предметом и (или) аудиторией;
|
||||
- **предмет** — всё, что стоит до преподавателя/аудитории (название может
|
||||
переноситься на несколько строк);
|
||||
- **заметка** — время («начало в 14:05»), даты («с 8.09.26»),
|
||||
«ссылка в эл. университете» и прочие примечания.
|
||||
4. Результат приводится к единому виду: время `ЧЧ:ММ-ЧЧ:ММ`, аудитория `ауд. N`.
|
||||
|
||||
В одной ячейке может быть несколько занятий: они разделяются пустой строкой,
|
||||
новым маркером «к.в.» или началом нового предмета сразу после строки
|
||||
аудитории/преподавателя.
|
||||
|
||||
Итог по паре: `{time, ч: {raw, lessons[]}, з: {raw, lessons[]}}`, где
|
||||
`lesson = {marker, subject, teacher, room, note}`.
|
||||
|
||||
## Структура кода
|
||||
|
||||
```
|
||||
src/
|
||||
backend/
|
||||
main.py FastAPI: маршруты, create_app(cache), /healthz
|
||||
schedule/
|
||||
xlsx.py чтение xlsx: общие строки, объединённые ячейки,
|
||||
скрытые столбцы, красный текст, серийные даты
|
||||
source.py скачивание файла по публичной ссылке Я.Диска
|
||||
lessons.py разбор ячеек занятий (общий конвейер ролей)
|
||||
parsing.py лист → расписание, недели, индексы преподавателей/аудиторий
|
||||
cache.py ScheduleCache: блокировка, TTL, modified, stale-while-error
|
||||
errors.py ScheduleError
|
||||
frontend/
|
||||
main.py FastAPI: статика + прокси /api/* (таймаут 150 c)
|
||||
static/
|
||||
index.html, app.js, style.css
|
||||
img/ логотипы (owl.svg, owl-white.svg), favicon.png
|
||||
tests/
|
||||
conftest.py общие фикстуры
|
||||
xlsx_builder.py генерация xlsx в памяти (без openpyxl)
|
||||
fixtures.py общая тестовая таблица
|
||||
test_lessons.py все форматы ячеек
|
||||
test_xlsx.py чтение книги
|
||||
test_parsing.py разбор листов, недели, индексы
|
||||
test_api.py API и поведение кэша (TTL/modified/stale, 404/400/502)
|
||||
```
|
||||
|
||||
## API
|
||||
|
||||
Полный список методов отдаёт сам бэкенд: `GET /`.
|
||||
|
||||
| Метод | Путь | Описание |
|
||||
|---|---|---|
|
||||
| GET | `/groups` | список групп (сначала БО, потом МО) |
|
||||
| GET | `/schedule/{group}` | расписание группы с разбором на занятия |
|
||||
| GET | `/schedule/{group}/{day}` | расписание группы на конкретный день |
|
||||
| GET | `/today?group={group}` | расписание группы на сегодня |
|
||||
| GET | `/teachers` | список преподавателей |
|
||||
| GET | `/teacher/{name}` | расписание преподавателя (+ `full_name`) |
|
||||
| GET | `/rooms` | список аудиторий (занятые ∪ лист «аудитории») |
|
||||
| GET | `/room/{label}` | занятость аудитории |
|
||||
| GET | `/rooms-day?day={день}` | занятость всех аудиторий за день |
|
||||
| GET | `/rooms-free?day={день}&period={N}` | свободные аудитории |
|
||||
| GET | `/week` | недели семестра и текущая чётность |
|
||||
| GET | `/status` | состояние кэша (`cache_ttl_seconds`, `last_updated`, `table_modified`, `error`) |
|
||||
| GET | `/healthz` | живость процесса (не обращается к таблице) |
|
||||
|
||||
Фронт проксирует только то, что использует, под префиксом `/api/...`:
|
||||
`groups`, `schedule/{group}`, `teachers`, `teacher/{name}`, `rooms`,
|
||||
`room/{label}`, `rooms-day`, `rooms-free`, `week`, `status`.
|
||||
Остальное (`today`, `schedule/{group}/{day}`) доступно только на бэкенде.
|
||||
|
||||
## Переменные окружения
|
||||
|
||||
| Переменная | По умолчанию | Где | Описание |
|
||||
|---|---|---|---|
|
||||
| `SCHEDULE_LINK` | — | api | публичная ссылка Я.Диска, **обязательна** |
|
||||
| `SCHEDULE_CACHE_TTL` | `900` | api | время жизни кэша, сек |
|
||||
| `SCHEDULE_RETRY_AFTER` | `60` | api | пауза между попытками при сбое источника |
|
||||
| `SCHEDULE_API` | `http://127.0.0.1:8000` | frontend | адрес бэкенда (в docker: `http://api:8000`) |
|
||||
| `SCHEDULE_PROXY_TIMEOUT` | `150` | frontend | таймаут прокси к бэкенду, сек |
|
||||
| `API_PORT` | `8000` | docker | внешний порт api |
|
||||
| `FRONTEND_PORT` | `8080` | docker | внешний порт frontend (на проде: `127.0.0.1:8090`) |
|
||||
|
||||
`.env` ищется вверх от каталога модуля (backend — до корня репозитория);
|
||||
`load_dotenv` не перезаписывает уже выставленные переменные окружения.
|
||||
|
||||
## Запуск
|
||||
|
||||
### Продакшен (Docker)
|
||||
|
||||
```bash
|
||||
cp .env.example .env # вписать SCHEDULE_LINK (и порты при необходимости)
|
||||
./deploy.sh # = docker compose build && up -d
|
||||
```
|
||||
|
||||
У обоих сервисов есть healthcheck на `/healthz`; frontend стартует после того,
|
||||
как api стал healthy. Обновление: `git pull && docker compose up -d --build`.
|
||||
|
||||
### Разработка
|
||||
|
||||
```bash
|
||||
python3 -m venv .venv
|
||||
.venv/bin/pip install -r requirements-dev.txt
|
||||
make dev # api :8000 и фронт :8080, оба с --reload
|
||||
```
|
||||
|
||||
### Тесты
|
||||
|
||||
```bash
|
||||
make test # 104 теста, сеть не нужна
|
||||
```
|
||||
|
||||
## Развёртывание на сервере
|
||||
|
||||
Код хранится в Gitea (`git.our-place.ru`, web через nginx, git-ssh на порту
|
||||
2222) и живёт в `/opt/schedule`:
|
||||
|
||||
```bash
|
||||
# первый запуск
|
||||
cd /opt/schedule
|
||||
# .env: SCHEDULE_LINK=... , API_PORT=127.0.0.1:8000, FRONTEND_PORT=127.0.0.1:8090
|
||||
sudo docker compose up -d --build
|
||||
|
||||
# обновление
|
||||
cd /opt/schedule && git pull && sudo docker compose up -d --build
|
||||
```
|
||||
|
||||
nginx-сайт `schedule.our-place.ru` проксирует 443 → 127.0.0.1:8090 (фронт),
|
||||
сертификат Let's Encrypt. Порты api и frontend слушаются только на loopback.
|
||||
|
||||
## Замечания
|
||||
|
||||
- Принудительное обновление таблицы (пропуск кэша, `force`) из API намеренно
|
||||
убрано; планируется вернуть вместе с авторизацией и ролью администратора.
|
||||
- Кэш живёт в памяти единственного воркера: при горизонтальном масштабировании
|
||||
api его придётся выносить в общее хранилище.
|
||||
- Строки внутри дня в таблице строго чередуются «числитель / знаменатель».
|
||||
Если строку посреди блока вставят или удалят, бэкенд запишет предупреждение
|
||||
«нечётное число строк, недели могли сдвинуться».
|
||||
Reference in New Issue
Block a user