Модуль 7. Внедрение моделей

Развёртывание решения в продакшн

На протяжении курса вы познакомились с разными примерами применения моделей машинного обучения и нейросетей в банке. Все они являются разного рода продуктами, которые создаются для сотрудников или для внешних пользователей. Но мало создать и протестировать продукт — его нужно эффективно внедрить. В чём здесь заключается сложность?

Дело в том, что огромное количество ML-моделей не добираются до стадии продакшена. Это происходит потому, что внедрение ПО (программного обеспечения) — долгий и сложный процесс, который связан с рядом проблем.

В 2015 году компания Google опубликовала исследование о скрытом техническом долге в системах машинного обучения. Согласно опыту компании, разработка моделей — это только малая часть общего процесса. Значительную долю занимают обслуживание инфраструктуры, сбор и проверка данных, конфигурация и мониторинг.

Именно для оптимизации этой большой системы была сформирована новая инженерная культура машинного обучения — MLOps.

Что такое MLOps

Это набор практик для совместной работы, который помогает построить прозрачный процесс создания и внедрения ML-моделей. Такой подход повышает качество, упрощает управление и автоматизирует развёртывание моделей машинного и глубокого обучения в производственной среде.

В этом процессе участвуют все — от менеджеров с минимальными знаниями программирования до специалистов по данным и инженеров по машинному обучению. В результате полученные модели легче согласовывать с бизнесом и нормативными требованиями.

Как MLOps применяется в банке

Представим, что банк разрабатывает уже знакомую вам ML-модель для кредитного скоринга. Трудности возникают уже на начальном этапе работы.

1. Сложности в совместной работе разных специалистов и команд, связанных с данными.

   У них разные навыки и инструменты работы. На первом этапе модель разрабатывается дата-сайентистом, который проводит эксперименты и обучает её. Затем модель упаковывается, обеспечивается необходимое окружение, настраивается мониторинг и продолжается обучение на новых данных. После разработки скоринговой модели её необходимо подключить к банковской системе. Однако разработчик последнего этапа может не разбираться в машинном обучении, что создаёт непредвиденные риски для работы модели.

   MLOps помогает наладить взаимодействие команд с разными профилями, чтобы работа на каждом этапе была прозрачной и соответствовала задачам проекта.

2. Чувствительность моделей к данным.

   Разработка ML-моделей отличается от разработки обычных сервисов: любые изменения во входящем потоке данных влияют на качество. Если обучить скоринговую модель на данных о тысяче людей старше 30 и данных о нескольких сотнях 20-летних, модель будет предвзятой. Поэтому важно постоянно дообучать модель по мере накопления данных и следить за качеством обучающей выборки.

3. Рациональное использование ресурсов.

   Если специалисты не синхронизированы, они могут проводить одни и те же эксперименты независимо друг от друга, что приводит к нерациональному использованию ресурсов.

   MLOps позволяет создать библиотеку моделей с описанием их работы. Это удобно для отслеживания метрик качества и сравнения результатов экспериментов.

4. Отражение изменений в бизнес-целях.

   Существует множество зависимостей от постоянно меняющихся данных, стандартов производительности модели и управления искусственным интеллектом.

   Без MLOps трудно оперативно обновлять обучение модели в соответствии с новыми бизнес-целями.

5. Проблемы в общении.

   Техническим и бизнес-командам сложно найти общий язык, что является одной из частых причин провала крупных проектов.

   MLOps позволяет наладить коммуникацию между разными командами.

Принципы работы MLOps

Цикл MLOps состоит из трёх основных этапов, во время которых мы проектируем и приводим к единообразию разработку, внедрение и способы дальнейшей эксплуатации ML/AI-продукта.

Основные принципы работы MLOps

• •

  Версионирование: сохранение версий данных и исходного кода для возможности возврата к предыдущим моделям.

• •

  Экспериментирование: постоянная исследовательская работа для определения наилучшей модели.

• •

  Разработка и внедрение ML-решений: создание и внедрение ML-решений с использованием различных инструментов и технологий.

• •

  Тестирование: автоматическая проверка модели на интеграцию и соответствие минимальным требованиям производительности.

• •

  Мониторинг: отслеживание метрик модели и изменений, влияющих на её работу.

• •

  Непрерывная интеграция (CI): тестирование и проверка данных и моделей перед развёртыванием.

• •

  Непрерывная доставка (CD): внедрение модели в информационные системы.

• •

  Непрерывное обучение (CT): постоянное улучшение модели на основе новых данных и методов обучения.

• •

  Непрерывный мониторинг (CM): обратная связь для контроля производительности и стабильности системы.

• •

  Управление и автоматизация: разграничение полномочий и автоматизация процессов для обеспечения безопасности и эффективности работы.

MLOps — это подход, который позволяет простроить и сделать видимыми среди разных команд все процессы по разработке, внедрению и эксплуатации моделей машинного обучения.