MLOps Pathmlopspath.ru

04 · MLOps-цикл и реестры4.3–4.4 · ClearML, MMS и E2E-контур4.3.3сложный

MMS: корпоративный реестр моделей

Зачем это нужно

ClearML хранит сотни экспериментов. В production допустима одна approved версия (или явный canary/champion-challenger). Кто решил, что model v1.2.3 можно в prod? На каких данных обучали? кто approver? Model Management System (MMS) — корпоративный реестр: каталог моделей с governance, lifecycle states и связью с deploy.

Без MMS deploy «по договорённости в чате» — audit fail, невозможность ответить регулятору, хаос при откате.

Основные идеи

MMS vs Experiment Tracker.

ClearML (tracker) MMS (registry)
Объём Много runs Мало production records
Цель Исследование Утверждение и эксплуатация
Статусы Running, Completed Draft, Staging, Production, Retired
Аудит Опционально Обязательно: who/when/why

Запись модели в MMS (conceptual schema).

  • model_id — уникальный идентификатор (churn-lgbm-prod)

  • version — semver (1.2.3)

  • clearml_task_id — lineage на experiment

  • artifact_uri — model file / ONNX path

  • training_dataset_ref — snapshot id

  • metrics_summary — offline KPI

  • model_card_url — ограничения, bias, owner

  • status — Draft | Approved-Staging | Approved-Production | Deprecated

  • approvers[] — DS lead, compliance (optional)

  • deployed_image_tag — связь с container registry

  • environments — dev / staging / prod mapping

Lifecycle states.

Draft → Review → Approved (Staging) → Promote → Production ↓ fail Rejected / Archived Production → Deprecated (после migrate на новую версию)

Переход Production без review — policy violation.

Champion registration. В MMS явно: «champion for prod = v1.2.3». Argo CD / Helm values читают только approved tag из MMS API или generated Git commit (bot).

Model card. Человекочитаемый документ: intended use, limitations, training data period, ethical notes. MMS хранит ссылку; card — часть DoD для Approve.

RBAC. DS создаёт Draft; MLE может запросить Promote; только Model Owner + Compliance approve Production.

Интеграция с deploy. Паттерн:

  1. MMS API: GET /models/churn/production → { version, image_tag, artifact_uri }.

  2. Jenkins/бот пишет в deploy-repo values.

  3. Argo CD sync.

MMS — source of truth для «что можно крутить в prod»; Git — source of truth для как крутить (manifests).

Корпоративный контур курса. MMS/MDP здесь — корпоративные примеры, не обязательные продукты. Публичная альтернатива реестра — MLflow Model Registry; также возможен Azure ML Registry. Концепция одна: governed catalog.

Как это выглядит на практике

Run ClearML #118 показал F1=0.84. DS создаёт в MMS запись churn-lgbm v1.3.0, status Draft, прикрепляет task id и model card.

Review meeting:

  • Offline metrics OK.

  • Bias check на сегменте «новые клиенты» — acceptable.

  • Compliance: PII в фичах — только aggregated.

Approver ставит Approved-Staging. Jenkins deploy в staging с image, собранным из artifact MMS/ClearML.

Smoke + integration 2 дня → Promote to Production. MMS обновляет champion; deprecated v1.2.2 с grace period 7 days.

Incident: rollback — MMS переключает champion на v1.2.2 (still Approved), deploy bot открывает MR в Git.

Что сделать после занятия

  • Спроектируйте JSON-schema одной записи MMS (10 полей минимум).

  • Опишите workflow approve: кто и какие checks на каждом переходе статуса.

  • Сравните: что остаётся в ClearML, что обязано быть в MMS.

Официальные материалы