Зачем это нужно
ML-проект — не линейный «написал код → задеплоил». Это цикл: идея → данные → эксперимент → валидация → регистрация → деплой → мониторинг → переобучение. Без общей карты DS ждёт «когда в prod», а Platform не знает, когда вмешаться с CI/CD.
Lifecycle map — общий язык для PM, DS, MLE и SRE. На ней видно, где Definition of Done (DoD) для каждой стадии и кто владелец.
Основные идеи
Стадии lifecycle (упрощённая карта курса).
[1] Idea & Problem Fit ↓ [2] Data & Features ↓ [3] Experiment & Train ↓ [4] Evaluate & Approve ← quality gates, MMS ↓ [5] Package & Integrate ← Docker, API, tests ↓ [6] Deploy & Release ← Helm, Argo CD, canary ↓ [7] Monitor & Operate ← metrics, logs, drift ↓ [8] Retrain & Iterate → back to [3]
Не каждый проект проходит все стадии формально, но пропуск стадии осознанно — риск.
Definition of Done по стадиям.
| Стадия | DoD (примеры) |
|---|---|
| Idea | Problem statement, метрика успеха бизнеса, baseline |
| Data | Schema, SLA поставки, PII review, snapshot/version |
| Experiment | Task в ClearML, воспроизводимый config, отчёт метрик |
| Evaluate | Сравнение с champion, bias check, sign-off owner |
| Package | API contract, unit + smoke tests, образ в registry |
| Deploy | Helm release, probes green, rollback tested |
| Monitor | Dashboards, alerts, runbook |
| Retrain | Trigger defined, pipeline automated, approval path |
DoD — чеклист в Jira, не устное «вроде готово».
Champion / Challenger. В prod всегда есть champion (текущая модель). Новая версия — challenger: сначала shadow/canary, потом promotion. MMS хранит, кто champion на каждом environment.
Environments. dev → staging → prod. На staging — интеграционные тесты с реалистичными данными (обезличенными). Пропуск staging экономит время до первого серьёзного инцидента.
Feedback loops.
Short loop (дни): эксперименты в ClearML.
Medium loop (недели): релиз новой версии модели.
Long loop (месяцы): смена постановки задачи, новые фичи.
Точки автоматизации. Ручное допустимо на Idea/Data; к Package/Deploy/Monitor автоматизация обязательна в зрелом MLOps.
Как это выглядит на практике
Продукт: рекомендации товаров. Карта на Confluence ( одна страница ):
Idea — Epic ML-REC-001, North Star: CTR +2%, guardrail: не падать conversion.
Data — Feature Store обновляется каждый час; DoD: contract tests на schema.
Experiment — 20 runs в ClearML, champion: run
abc123(NDCG@10).Evaluate — offline OK, A/B plan на 5% traffic; approver: lead DS + compliance.
Package — Jenkins green, image
rec-serving:abc123-55.Deploy — Argo CD sync staging → smoke → manual promote prod 5% canary (Istio).
Monitor — Grafana: latency, error rate, business CTR; drift dashboard.
Retrain — cron Argo WF weekly; если metric drop > threshold → alert + pause auto-promote.
На ретро команда отмечает: застряли на Evaluate 2 недели — нет формального DoD для compliance. Добавили пункт в шаблон Epic.
Что сделать после занятия
Нарисуйте lifecycle для вашего учебного проекта с 8 стадиями.
Для каждой стадии напишите 2–3 пункта DoD.
Отметьте, какие стадии у вас сейчас ручные и какие хотите автоматизировать первыми.