MLOps えむえるおぷす
MLOps機械学習パイプラインモデル監視データドリフト再学習CI/CD
MLOpsってDevOpsと何が違うの?
MLOpsとは
MLOps(Machine Learning Operations) とは、機械学習のモデルを開発してから本番で使い続けるまでの流れ全体を、仕組みとして回し続けるための考え方と実践です。ソフトウェア開発と運用を一体で回す DevOps の考え方を、機械学習に当てはめたものです。
普通のシステムは、プログラムを変えなければ動きは変わりません。ところが機械学習のモデルは、プログラムが同じでも、世の中のデータが変われば精度が落ちていきます。需要予測なら物価の変化、不正検知なら新しい手口で前提が崩れるのです。これをドリフトと呼びます。
そのため MLOps では、データとモデルもバージョン管理し、本番の精度を見張り、必要なら再学習して入れ替える流れを自動化します。
MLOps のサイクル
| 段階 | やること |
|---|---|
| データ・実験管理 | どのデータ・条件で学習したかを残し、再現できるようにする(MLflow など) |
| モデル登録 | 合格したモデルを版付きで保管する |
| デプロイ | CI/CDパイプラインで本番へ安全に入れ替える |
| 監視 | 精度や入力データの変化を見張る |
まとめて提供するクラウドサービスに、Amazon SageMakerや Vertex AI などがあります。
うちはAIの需要予測を1本入れるだけなんだけど、MLOpsまで必要?
いきなり立派な基盤はいらないよ!でも最低限の3点は押さえよう。①どのデータで学習したかの記録、②毎月の予測と実績のズレのチェック、③「ズレたら誰が学び直すか」の決めごと。これがないと、1年後に外れ始めても直せなくなっちゃうんだ。
歴史と背景
- 2015年:Google の研究者らが論文で、ML システムでは学習コードはごく一部で、周りの仕組みの負債が大きいと指摘
- 2018年前後:MLflow や Kubeflow などのオープンソースが登場し、「MLOps」という言葉が広まる
- 2020年前後:大手クラウドが MLOps 向けのガイドや機能を拡充
- 2023年以降:生成AIの普及で、プロンプトや LLM の評価・監視を扱う「LLMOps」も語られるようになる
DevOps との比較
| 観点 | DevOps | MLOps |
|---|---|---|
| 管理するもの | プログラム | プログラム+データ+モデル |
| テスト | 決まった入力で決まった結果か | それに加え、精度が基準を満たすか |
| 劣化の原因 | 主にプログラムの変更 | 変更がなくてもデータの変化で劣化 |
| 運用のきっかけ | 機能追加・不具合修正 | 加えて、精度低下による再学習 |
AIの開発を外注するとき、MLOpsのことは何を聞けばいい?
「納品後に精度が落ちたらどうなりますか?」がいちばん効く質問だよ!監視の方法、再学習を誰がいくらでやるのかをはっきりさせよう。
モデルだけ納品されて学習手順やデータが残らないと、他社に頼み直せなくなるから要注意だね。
実務のポイント
- 本番の精度を測る指標と、再学習を判断する基準(しきい値)を決めたか
- 学習データ・学習手順・モデルの版を、自社で引き継げる形で受け取る契約か
- 再学習の頻度と費用(保守契約に含むか)を決めたか
- 新モデルへの切り替え前に、旧モデルとの比較(A/Bテストなど)を行うか
- 学習データの扱いをデータガバナンスのルールに沿わせたか
関連する規格・RFC
| 規格・文書 | 内容 |
|---|---|
| ISO/IEC 5338 | AI システムのライフサイクルプロセス |
| NIST AI RMF | AI のリスク管理の枠組み。運用中の監視も含む |
参考文献・外部リンク
- MLOps: Continuous delivery and automation pipelines in machine learning(Google Cloud) — 自動化の段階を示した定番のガイド
- Hidden Technical Debt in Machine Learning Systems(NeurIPS 2015) — ML システムの技術的負債を指摘した論文
- MLOps 機械学習モデル管理(Microsoft Learn) — Azure Machine Learning での MLOps の解説(日本語)