docs: завершить LDD baseline и release evidence
This commit is contained in:
@@ -7,13 +7,13 @@
|
||||
|
||||
## 1. Что проверялось
|
||||
|
||||
Реестр: `docs/evidence/claims.json`, **34 утверждения**.
|
||||
Реестр: `docs/evidence/claims.json`, **37 утверждений**.
|
||||
|
||||
| Критичность | Claims | Proven | Gaps |
|
||||
|---|---:|---:|---:|
|
||||
| P0 | 19 | 19 | 0 |
|
||||
| P1 | 15 | 15 | 0 |
|
||||
| **Итого** | **34** | **34** | **0** |
|
||||
| P0 | 20 | 20 | 0 |
|
||||
| P1 | 17 | 17 | 0 |
|
||||
| **Итого** | **37** | **37** | **0** |
|
||||
|
||||
Домены:
|
||||
|
||||
@@ -37,7 +37,7 @@
|
||||
./gradlew test --rerun-tasks
|
||||
```
|
||||
|
||||
Результат: **273 теста, 0 failures, 0 errors, 0 skipped**.
|
||||
Результат: **276 тестов, 0 failures, 0 errors, 0 skipped**.
|
||||
`ktlintCheck` и `detekt` — зелёные.
|
||||
|
||||
### 2.2. LDD gate
|
||||
@@ -46,7 +46,7 @@
|
||||
./gradlew evidenceCheck
|
||||
```
|
||||
|
||||
Результат: **34/34 claims proven, P0 gaps = 0**.
|
||||
Результат: **37/37 claims proven, P0 gaps = 0**.
|
||||
Отчёт: `build/reports/evidence/index.md`.
|
||||
|
||||
Gate устроен так:
|
||||
@@ -133,9 +133,28 @@ Playwright/Chromium на полном стеке, одноразовая БД:
|
||||
- anonymous: `/admin/audit` → `/login`;
|
||||
- student: вход, `/admin/audit` → `/student`, `/learn/course/{no}`.
|
||||
|
||||
Результат: **3/3 passed**, evidence: `build/evidence/browser.json`.
|
||||
Результат: **4/4 passed**, evidence: `build/evidence/browser.json`.
|
||||
Дополнительно проверены сдача файла студентом и mobile-размер teacher-страницы.
|
||||
|
||||
### 2.7. Найденный дефект
|
||||
### 2.7. Конкурентные apply/rollback
|
||||
|
||||
Добавлен `PromotionConcurrencyIntegrationTest` (без `@Transactional`, два потока,
|
||||
advisory lock): два одновременных apply идемпотентны и пишут history один раз;
|
||||
два одновременных rollback дают ровно один успех и один `ConflictException`,
|
||||
состояние восстанавливается один раз.
|
||||
|
||||
### 2.8. Нагрузочный smoke
|
||||
|
||||
`ldd-runtime.sh` выполняет 100 чтений (10 workers) курса, лаб, профиля и аудита:
|
||||
**0 ошибок, avg 0.141 c, p95 0.945 c** (порог p95 < 2 c).
|
||||
|
||||
### 2.9. Release gate
|
||||
|
||||
`./scripts/ldd-release.sh` последовательно запускает тесты/линтеры, upgrade,
|
||||
mutation, runtime и browser E2E, затем финальный `evidenceCheck`.
|
||||
В `.gitlab-ci.yml` добавлен ручной job `release-evidence` с Chromium/Node.
|
||||
|
||||
### 2.10. Найденный дефект
|
||||
|
||||
Первый browser E2E упал на создании студента: API вернул `400`, потому что
|
||||
Jackson 3 не применял Kotlin-модуль, и DTO с default-значениями требовали все
|
||||
@@ -159,15 +178,15 @@ optional json fields`.
|
||||
|
||||
## 4. Чего это не доказывает
|
||||
|
||||
1. **Нет нагрузочных и конкурентных испытаний.** Advisory locks и гонки
|
||||
проверены кодом и unit/integration-тестами, но не под нагрузкой.
|
||||
2. **Mutation testing не 100%.** Остаются эквивалентные мутанты и
|
||||
1. **Mutation testing не 100%.** Остаются эквивалентные мутанты и
|
||||
Kotlin/Spring-специфичные мутации; PIT harness — JUnit 4, а не JUnit 5.
|
||||
3. **Property-based тесты покрывают не все ветки.** Есть генераторы для
|
||||
матрицы доступа и планировщика повышения, но не для транзакционного
|
||||
apply/rollback и конкурентных сценариев.
|
||||
4. **Браузерный E2E — один Chromium и один сценарий на роль.** Нет
|
||||
визуальной регрессии, мобильных размеров, Safari/Firefox.
|
||||
2. **Property-based тесты покрывают не все ветки.** Есть генераторы для
|
||||
матрицы доступа, планировщика и 10 транзакционных apply/rollback-кейсов,
|
||||
но не для всех сочетаний полей и распределённой нагрузки.
|
||||
3. **Браузерный E2E — один Chromium и 4 сценария.** Нет визуальной регрессии,
|
||||
Safari/Firefox и полного мобильного набора страниц.
|
||||
4. **Нагрузочный smoke — не benchmark.** Одна машина, синтетические данные,
|
||||
без SLA production.
|
||||
5. **Legacy-активы без `article_assets` остаются публичными.**
|
||||
6. **JWT живёт до 30 дней.** Web перепроверяет статус, прямой API — нет.
|
||||
7. **Ведущие нули номера группы нормализуются** (`01` → `1`).
|
||||
@@ -176,14 +195,15 @@ optional json fields`.
|
||||
|
||||
## 5. Вывод
|
||||
|
||||
Текущая функциональность прошла LDD-контур: **34/34 claims proven, P0 gaps = 0**,
|
||||
Текущая функциональность прошла LDD-контур: **37/37 claims proven, P0 gaps = 0**,
|
||||
273 теста, upgrade, mutation baseline и браузерный E2E зелёные. Это
|
||||
достаточное основание продолжать доработки, но не «формальное доказательство
|
||||
всей системы».
|
||||
|
||||
Следующий цикл LDD:
|
||||
|
||||
1. нагрузочный smoke на чтение ведомости/профиля и конкурентный apply/rollback;
|
||||
2. property-based/model-based тесты транзакционного повышения;
|
||||
3. расширение browser E2E (студенческая сдача, публикация оценки, мобильный вид);
|
||||
4. автоматический release-пайплайн с runtime/mutation/browser evidence.
|
||||
1. расширить browser E2E на публикацию оценки и остальные мобильные страницы;
|
||||
2. добавить нагрузочный профиль с реалистичным объёмом групп/студентов;
|
||||
3. закрыть известные продуктовые риски: legacy-активы, JWT 30 дней, ведущие
|
||||
нули, пагинация/N+1;
|
||||
4. сделать release-evidence job обязательным для тегов.
|
||||
|
||||
Reference in New Issue
Block a user