Skip to content
This repository has been archived by the owner on Apr 23, 2023. It is now read-only.

Home

Jump to bottom
Atsushi SAKAI edited this page Aug 7, 2020 · 21 revisions

ようこそ Machine Learning for productionization Wiki へ

このページは、機械学習基盤のproductionization(本番環境への適用)に関する情報を集めるためのWikiです。

機械学習を実際にプロダクションで回していくためには、様々な課題がある一方でそれを解決するためのシステム・アーキテクチャのパターンは明確になっていません。MLOpsといった言葉も話題になりつつありますが、その定義も人によって様々であり、またエンジニアリング主体の取り組みが多く、体系化された情報もまだまだ少ないです。

そこで、いわゆる "awesome ML in production" というような情報をリンク集のようなものを、このWikiで書いていければと思います。

対象となる課題・トピックは、例えば

  • 機械学習基盤のアーキテクチャ
  • data analysis, training, deploymentといったend to endの機械学習のパイプラインの作り方、管理方法
  • モデルのライフサイクル管理・デプロイ、ガバナンス、サービング
  • feature storeやデータ・モデル・パイプラインのバージョン管理、ガバナンス

などを想定していますが、これらに限らず収集できればと思います。リンク先は論文やarXivのpre printだけでなく、ブログ記事などもOKです。

こちらのWikiでまとめた情報を元に、サーベイ論文のような形で体系化をしていければと考えています。

本Wikiは機械学習工学研究会 MLSEの「本番適用のためのインフラと運用WG」の活動の一貫として行っていますが、どなたでも書き込みしていただけます。

Awesome ML in production list

Overview/Rules/Philosophy

ML pipeline/lifecycle

Reproducibility/Notebook

Model deployment

Model development automation

  • Efficient and Robust Automated Machine Learning
    • NIPS 2015。いわゆるAutoMLの類。特徴量加工、アルゴリズム選択、ハイパーパラメータチューニングを機械化。論文中で強調されていたのはメタ学習による効率化とアンサンブル構成。scikit-learnベースであり、auto-sklearnとしてGitHubに実装が公開されている。

Monitoring / Observability

General architectures/Surveys

  • THE DEFINITIVE GUIDE TO Machine Learning Platforms
    • ML系Podcast TWIML AI Podcastの主催者によるML Platformの事例集。
  • MLOpsの歩き方
    • 有賀によるMLOpsを中心としたML基盤の解説記事。雑誌n月刊ラムダノートは有料だが、ドラフト版は無料で読める
  • 継続的改善をし続けるための機械学習基盤の課題
    • 有賀によるIBIS 2019での発表。4つのMLOpsのManifestをベースに9つのML in productionの課題を整理している
  • Data Platform for Machine Learning
    • AppleのML基盤MLdpのSIGMOD'19での論文。HDFS,Blob,local等様々なストレージレイヤーを抽象化しSQLで扱える、streamデータも統合、annotatinonは別テーブルに分けデータもcopy-on-writeでバージョニングする等工夫が多い。８つのML data platformの要件は重要な示唆を示している。
  • On the FaaS Track: Building Stateful Distributed Applications with Serverless Architectures
    • パブリッククラウドの普及もあり、FaaS（Function as a Service）がデータ処理基盤として使われるケースも生まれてきた。本論文では、コンテナ同士が互いにデータをやり取りするような処理を、FaaS上に乗せるための技術を提案。特に機械学習をスコープに入れている。コンテナ間で共有するオブジェクトそのものを、オブジェクト更新用のメソッドとセットでストアするオブジェクトストアを提案したところが特徴的である。

Good resources

  • Knowledge Bases
  • News
    • The Batch - deeplearning.ai
      • Andrew Ngが主催するdeeplearning.aiの提供するメールマガジン。幅広い内容が提供されており、ethicの話やproject structureの話も含まれており、opinionatedなメールマガジン。
  • Conferences
    • MLOps Conference NYC
      • iguazio社が主催するMLの管理とオートメーションに関するカンファレンス
    • USENIX OpML'20, OpML'19
      • MLのプロダクション・ライフサイクルに関するカンファレンス。研究と産業の横断的な取り組み。
    • SysML Conference
      • 学習システムのベストプラクティスとデザイン原則から、実用的な機械学習ワークフローに合わせた新しい学習方法と理論の開発など、横断的な研究を対象とする

国内で発表されたproductionizationに関する事例

Clone this wiki locally