4.3.3 · блок 4

MMS: корпоративный реестр моделей

Зачем это нужно

ClearML хранит сотни экспериментов. В production допустима одна approved версия (или явный canary/champion-challenger). Кто решил, что model v1.2.3 можно в prod? На каких данных обучали? кто approver? Model Management System (MMS) — корпоративный реестр: каталог моделей с governance, lifecycle states и связью с deploy.

Без MMS deploy «по договорённости в чате» — audit fail, невозможность ответить регулятору, хаос при откате.

Основные идеи

MMS vs Experiment Tracker.

| | ClearML (tracker) | MMS (registry) |

|---|-------------------|----------------|

| Объём | Много runs | Мало production records |

| Цель | Исследование | Утверждение и эксплуатация |

| Статусы | Running, Completed | Draft, Staging, Production, Retired |

| Аудит | Опционально | Обязательно: who/when/why |

Запись модели в MMS (conceptual schema).

model_id — уникальный идентификатор (churn-lgbm-prod)
version — semver (1.2.3)
clearml_task_id — lineage на experiment
artifact_uri — model file / ONNX path
training_dataset_ref — snapshot id
metrics_summary — offline KPI
model_card_url — ограничения, bias, owner
status — Draft | Approved-Staging | Approved-Production | Deprecated
approvers[] — DS lead, compliance (optional)
deployed_image_tag — связь с container registry
environments — dev / staging / prod mapping

Lifecycle states.


Draft → Review → Approved (Staging) → Promote → Production
                    ↓ fail
                 Rejected / Archived
Production → Deprecated (после migrate на новую версию)

Переход Production без review — policy violation.

Champion registration. В MMS явно: «champion for prod = v1.2.3». Argo CD / Helm values читают только approved tag из MMS API или generated Git commit (bot).

Model card. Человекочитаемый документ: intended use, limitations, training data period, ethical notes. MMS хранит ссылку; card — часть DoD для Approve.

RBAC. DS создаёт Draft; MLE может запросить Promote; только Model Owner + Compliance approve Production.

Интеграция с deploy. Паттерн:

1. MMS API: GET /models/churn/production → { version, image_tag, artifact_uri }.

2. Jenkins/бот пишет в deploy-repo values.

3. Argo CD sync.

MMS — source of truth для «что можно крутить в prod»; Git — source of truth для как крутить (manifests).

Корпоративный контур курса. MMS/MDP здесь — корпоративные примеры, не обязательные продукты. Публичная альтернатива реестра — MLflow Model Registry; также возможен Azure ML Registry. Концепция одна: governed catalog.

Как это выглядит на практике

Run ClearML #118 показал F1=0.84. DS создаёт в MMS запись churn-lgbm v1.3.0, status Draft, прикрепляет task id и model card.

Review meeting:

Offline metrics OK.
Bias check на сегменте «новые клиенты» — acceptable.
Compliance: PII в фичах — только aggregated.

Approver ставит Approved-Staging. Jenkins deploy в staging с image, собранным из artifact MMS/ClearML.

Smoke + integration 2 дня → Promote to Production. MMS обновляет champion; deprecated v1.2.2 с grace period 7 days.

Incident: rollback — MMS переключает champion на v1.2.2 (still Approved), deploy bot открывает MR в Git.

Что сделать после занятия

[ ] Спроектируйте JSON-schema одной записи MMS (10 полей минимум).
[ ] Опишите workflow approve: кто и какие checks на каждом переходе статуса.
[ ] Сравните: что остаётся в ClearML, что обязано быть в MMS.

Официальные материалы

Открыть интерактивную версию