7.1.1Паттерны inferenceсредний7.2.1MLServer как runtimeсложный7.2.2Deploy MLServer в Kubernetesсложный7.3.1Seldon Core как оркестраторсложный7.3.2Seldon и разные runtimesсложный7.4.1NVIDIA Triton как универсальный serverэксперт7.4.2Эксплуатация Tritonэксперт7.5.1KServe как control planeсложный7.5.2KServe и runtimesсложный7.6.1vLLM для LLM servingэксперт7.6.2VLM и multimodal servingэксперт7.6.3Платформенная склейка LLMэксперт7.7.1Сравнение и выбор serving-стекасложный
Программа курса
Путь: foundation → core → элективы
107 занятий, уровни сложности и лаборатории. Поиск и фильтры — в разделе Поиск.
Блок 07
Serving-платформа
MLServer, Seldon, Triton, KServe, vLLM / VLM
~6 нед. · 13 занятий