機械学習工学研究会キックオフシンポジウムを振り返って

なんか最近こればっかやけど、機械学習工学研究会のキックオフシンポジウム行ってきました。

mlxse.connpass.com

企業の方、アカデミアの方など立場様々な方が参加されてそれぞれの視点から課題点を出されていて面白かった。有賀さんや久保さんなど企業の方々の講演はご自身達も仰っていたし会場やTwitter上でも「機械学習システム開発あるある」な感じだったが、「みんな共通認識持ってるんだね、じゃあここから議論しよう！」といったシンポジウムの意義を考えると素晴らしい課題定期だったなと。一方で、冒頭で杉山先生が「機械学習に実務で取り組んでいる方？」という質問への挙手が体感的には４割行かない程度だったところから、活発な議論がされるのは極々一部であり、マーケットにリテラシーが醸成されるのはまだまだこれからだなというところも感じられました。

いずれにせよ、運営されている方々、登壇者の皆様ありがとうございました。

印象に残った議論ポイントとその感想

要件定義難しい問題結構言われている

アクセンチュア工藤さん、Cloudera有賀さんの二人から同様に「期待値コントロール大事」とされていたり、パネルディスカッションでも「要件定義難しい」という議論がされていたりした。パネラーの皆様の反応見ると「PoC貧乏」はどこでも起きていて、どのように業務に適用するのかの要件定義無しにとりあえず一旦PoCで、ってなっているようで、これは乗り越えなきゃいけない課題なんだなと感じました。ただ議論を聞いていると

システム開発の要件定義はそもそも難しい
AIブームでMLへのリテラシーが低いユーザーがMLシステムの要件定義しているので難しい
MLがそもそもPoC(概念検証)が挟まる「やってみないとわからない」状態で不確実性が高いためその後の業務要件定義難しい

あたりがごっちゃになって議論されているように思えた。特に話題になりがちであった同様の議論に「変えたい業務はなくて力試しされた」とか「運用設計が難しい」といった内容は単純に「リテラシーが低いから」と言えなくも無いような気がしています。一番強烈なのは、機械学習を使うことが目的化し、要求を満たすための選択肢に「機会学習を用いて」という条件がかかって狭まってしまい、なおさらわけわからん要求が出てきてしまうパターンがありますよね。

実業務でも「実際MVP作ってみると欲しかったのは機械学習やなくて、大量の画像を整理するのに便利なGUIやったんや！」みたいな話は経験したことあります。

じゃどうやって乗り越えるんや、で言うと、

1,2に対しては、個別のプロジェクトではいわゆるワークショップのような形で企画者、開発者、ユーザー、ドメインナレッジ担当、そして機械学習詳しい人を集めて、どのような問い(テーマ)だと機械学習で解決できるのか、難易度はどの程度か、ビジネスへのインパクトはどのようなものかを一緒になって考えていくことですね。ワークショップ形式が良いなと思う理由としては、昨今のAIブームで「とにかくAIでなんとかしなきゃ！」みたいな形でアイデアを出し、業務で使う際の制約を考慮することなくPoCに突っ込んでしまうことを、ユーザー含めて議論することで抑えることが出来るからかなと。

もうちょっと引いた目線で言うと、「AIでXXXを実現！」みたいに半ば広告ぽく世に放たれている事例を

どのようなテーマを
機械学習で解ける問題として、どのように切り出して
どのようなデータに対して
どのような技術を用いて

解決したのかを解説することでユーザー含めた世の中のリテラシーの向上に貢献できるんですかね。Kaggleのコンペを非Kaggler、非MLエンジニア向けにざっくりした粒度で伝えるのなんてどうだろう、なんてことを妄想中。やってみるか。Kagglerにしばき回されそうですが。

しかしながら、そもそも論でAIガチャ*1を一回引いて上手く行って信用してもらえたところしかワークショップ開くだけの協力を貰えないなんてことも往々にしてあるので、難しいところ。「ワークショップ→MVP→PoC」の流れを業界のデファクトにしてしまいたい。。。

機械学習工学界隈で一番議論したいのは3ですよね。PoCを経なければいけないという不確実性のマネジメントについてはこれまでのソフトウェア工学の知見は応用できるでしょうし、実業務の中で現場の人間が頑張っているものを持ち寄って、そこから知見を抽出することでアカデミアにも貢献できるんじゃないかなと思っています。というか、ここくらいしか貢献できる部分ないなーという感じ、頑張る。

機械学習システムの基盤について

デプロイした後の機械学習システムの基盤についての議論がTwitter上では見られたなーって感じでした。実装まで同じじゃないとしても基本的な考え方はTFXにあるんだろうと。

TFX A TensorFlow-Based Production-Scale Machine Learning Platform

機械学習システム基盤はベースにどこまで各社工夫しますか、の世界ですよね。基盤だけあってもしょうがなくて、基盤きちんと回せる組織どうしましょうに興味あり。

そういいう意味で言うと、

Human-in-the-loop: The machine learning platform needs to expose simple user interfaces to make it easy for engineers to deploy and monitor the platform with minimal configuration. Furthermore, it also needs to help users with various levels of machine-learning expertise understand and analyze their data and models.
引用元：TFX A TensorFlow-Based Production-Scale Machine Learning Platform

が重要になってくるのかと思います。この辺りを支えるツール作りたい。
MLOpsな機械学習モデルの運用で変わってきそうな点ってドメインナレッジ担当者が積極的にシステムの挙動を確認して諸々判断せないかんとこだろうなと。で、なんの情報を誰に渡すのか、そこからどのような判断を下させるのか、はもろにドメインや適用先業務によって個性が出てくる部分であり標準化は難しそう。センス良く作り込むのはデータサイエンティストや機械学習エンジニアの腕の見せ所ではないかと思います。機械学習モデル、開発者、ドメインナレッジ担当者を橋渡しするようなコミュニケーションをデザインするとか絶対楽しいやん。このコミュニケーションツール作りたい。単なるボットとかじゃなくてイケてるやつ。