4.2.1 · блок 4

Карта ML lifecycle: от идеи до prod

Зачем это нужно

ML-проект — не линейный «написал код → задеплоил». Это цикл: идея → данные → эксперимент → валидация → регистрация → деплой → мониторинг → переобучение. Без общей карты DS ждёт «когда в prod», а Platform не знает, когда вмешаться с CI/CD.

Lifecycle map — общий язык для PM, DS, MLE и SRE. На ней видно, где Definition of Done (DoD) для каждой стадии и кто владелец.

Основные идеи

Стадии lifecycle (упрощённая карта курса).


[1] Idea & Problem Fit
      ↓
[2] Data & Features
      ↓
[3] Experiment & Train
      ↓
[4] Evaluate & Approve  ← quality gates, MMS
      ↓
[5] Package & Integrate ← Docker, API, tests
      ↓
[6] Deploy & Release    ← Helm, Argo CD, canary
      ↓
[7] Monitor & Operate   ← metrics, logs, drift
      ↓
[8] Retrain & Iterate   → back to [3]

Не каждый проект проходит все стадии формально, но пропуск стадии осознанно — риск.

Definition of Done по стадиям.

| Стадия | DoD (примеры) |

|--------|----------------|

| Idea | Problem statement, метрика успеха бизнеса, baseline |

| Data | Schema, SLA поставки, PII review, snapshot/version |

| Experiment | Task в ClearML, воспроизводимый config, отчёт метрик |

| Evaluate | Сравнение с champion, bias check, sign-off owner |

| Package | API contract, unit + smoke tests, образ в registry |

| Deploy | Helm release, probes green, rollback tested |

| Monitor | Dashboards, alerts, runbook |

| Retrain | Trigger defined, pipeline automated, approval path |

DoD — чеклист в Jira, не устное «вроде готово».

Champion / Challenger. В prod всегда есть champion (текущая модель). Новая версия — challenger: сначала shadow/canary, потом promotion. MMS хранит, кто champion на каждом environment.

Environments. dev → staging → prod. На staging — интеграционные тесты с реалистичными данными (обезличенными). Пропуск staging экономит время до первого серьёзного инцидента.

Feedback loops.

Short loop (дни): эксперименты в ClearML.
Medium loop (недели): релиз новой версии модели.
Long loop (месяцы): смена постановки задачи, новые фичи.

Точки автоматизации. Ручное допустимо на Idea/Data; к Package/Deploy/Monitor автоматизация обязательна в зрелом MLOps.

Как это выглядит на практике

Продукт: рекомендации товаров. Карта на Confluence ( одна страница ):

1. Idea — Epic ML-REC-001, North Star: CTR +2%, guardrail: не падать conversion.

2. Data — Feature Store обновляется каждый час; DoD: contract tests на schema.

3. Experiment — 20 runs в ClearML, champion: run abc123 (NDCG@10).

4. Evaluate — offline OK, A/B plan на 5% traffic; approver: lead DS + compliance.

5. Package — Jenkins green, image rec-serving:abc123-55.

6. Deploy — Argo CD sync staging → smoke → manual promote prod 5% canary (Istio).

7. Monitor — Grafana: latency, error rate, business CTR; drift dashboard.

8. Retrain — cron Argo WF weekly; если metric drop > threshold → alert + pause auto-promote.

На ретро команда отмечает: застряли на Evaluate 2 недели — нет формального DoD для compliance. Добавили пункт в шаблон Epic.

Что сделать после занятия

[ ] Нарисуйте lifecycle для вашего учебного проекта с 8 стадиями.
[ ] Для каждой стадии напишите 2–3 пункта DoD.
[ ] Отметьте, какие стадии у вас сейчас ручные и какие хотите автоматизировать первыми.

Официальные материалы

Открыть интерактивную версию