人工知能（AI）応用システムの安全性・信頼性を確保するために～ソフトウェア工学の新展開～

(2018年7月15日)

AIブームを牽引する機械学習技術
　人工知能（AI：Artificial Intelligence）という言葉から思い浮かぶイメージはさまざまなものがあるかもしれませんが、現在のAIブームを牽引しているのは深層学習（Deep Learning）をはじめとする機械学習技術です。つまり、いま応用が急速に広がっているのは、いわば「前例に倣うAI」、こんな入力のときにこんな出力を返すという多数の事例データから規則性を自動的に学習し、その学習した規則性に従って動作する、機械学習に基づくAI技術です。医療画像とその診断結果のデータを大量に学習し、新たな画像に対して癌などの疑いがあるかを判断する試みや、ある商品について、過去の売上実績とそのときのさまざまな条件（天候・気温・周辺イベントなど）のデータを大量に学習し、今後の売上を予測する試みなどがその一例です。

システム開発方法のパラダイム転換
　このような機械学習技術がさまざまなシステムに使われるようになったことで、実は、システム開発方法のパラダイム転換が起きています（図1）。従来のシステム開発方法では、こんな入力のときにこんな出力を返すというシステムの動作を、プログラムを書いたり、論理回路を組んだりすることで定めていました（演繹的な作り方）。それに対して、機械学習応用システムは、多数の事例データを与えた結果として、システムの動作が決まります（帰納的な作り方）。前者は、起こり得るすべてのケースに対してシステムの動作を決めていく作り方なので、業務システムのようなクローズドな対象に向いています。つまり、前者のアプローチは、カメラやセンサーのような実世界との接点を含むオープンで複雑なシステムを扱うには必ずしも適したものではなく、このオープンで複雑なシステムを扱えるようなアプローチとして、後者の機械学習技術を用いた帰納的な作り方が広がりつつあります。

機械学習応用システム開発における課題
　従来、ソフトウェア工学（ソフトウェアエンジニアリング）という技術分野があり、主に、上で述べた演繹的な作り方に関して、ソフトウェアの安全性・信頼性を確保するための技術や方法論（V字モデルなど）が研究・実践されてきました。しかし、帰納的な作り方に関しては、パラダイムが異なるため、従来の技術・方法論ではカバーしきれません（図2）。たとえば、起こり得るすべてのケースを列挙することができないため、どこまでテストすれば十分なのかがわからないなど、さまざまな課題があります。
　さらに、機械学習応用システムの脆弱性や公平性に関する懸念も指摘されています。特に話題になったのは深層学習に対する敵対的攻撃（Adversarial Attacks）で、道路標識に人間は気にかけない程度のノイズを乗せたら、それまで正しく認識できていた一時停止の標識を誤認識するようになったという脆弱性に関する指摘です。また、学習する事例データに差別・偏見が混じっていると、機械学習応用システムの出す結果が不公平なものになり、社会から非難される事例も生じています。

　ソフトウェア工学の新展開（国内外の動向）
　そこで、機械学習応用システムの安全性・信頼性を確保するための新しいソフトウェア工学の必要性が強く認識されるようになりました。国内では、2017年に情報処理学会・日本ソフトウェア科学会などを中心に、学術イベントでの基調講演や企画セッションにて繰り返し提言がなされ、2018年4月には日本ソフトウェア科学会に機械学習工学研究会が発足しました。5月に開催されたそのキックオフシンポジウムには500名を超える参加者が集まり、しかも、申込開始から1週間程度で満席になってしまったほどでした。
　日本では、この新分野に「機械学習工学」という名称が定着しつつありますが、米国では「Software 2.0」という名称も使われています。どちらの名称が用いられるにせよ、今後これが国内外で大きなムーブメントになっていくに違いありません。JST CRDSでもこの新しい動きにいち早く注目し、2017年12月には「機械学習型システム開発へのパラダイム転換」ワークショップを開催し、最新動向の把握や研究開発の推進施策の検討・提言を進めています。
　機械学習応用システムの安全性・信頼性の確保は、産業界が高い関心を示している問題で、機械学習工学研究会のシンポジウムやワークショップにも産業界から多数の参加者が集まりました。産業界にとって極めて切実な問題なので、産業界主導で知見やノウハウの集積・体系化が進む面はあるに違いありませんが、先に述べたようなパラダイム転換が起きていることを踏まえると、根本的な原理・理論からの研究開発が必要な問題だと考えます。学術界と産業界が連携した取り組みが重要になっていきます。

参考資料
●科学技術振興機構研究開発戦略センター「研究開発の俯瞰報告書：システム・情報科学技術分野（2017年）」、CRDS-FY2016-FR-04（2017/3）、「3.3 ビッグデータ」
　　http://www.jst.go.jp/crds/pdf/2016/FR/CRDS-FY2016-FR-04/CRDS-FY2016-FR-04_08.pdf
●福島俊一、藤巻遼平、岡野原大輔、杉山将、「ビッグデータ×機械学習の展望：最先端の技術的チャレンジと広がる応用」、情報管理 60巻8号（2017/11）
　　https://www.jstage.jst.go.jp/article/johokanri/60/8/60_543/_pdf/-char/ja
● 科学技術振興機構研究開発戦略センター「機械学習型システム開発へのパラダイム転換」、俯瞰ワークショップ報告書CRDS-FY2017-WR-11（2017/12）
　　http://www.jst.go.jp/crds/report/report05/CRDS-FY2017-WR-11.html
●青山幹雄、「機械学習工学への期待〜機械学習が工学となるために〜」、日本ソフトウェア科学会機械学習工学研究会キックオフシンポジウム（2018/5）
　　https://www.slideshare.net/MLSE/ss-97568695?ref=https://mlxse.connpass.com/event/80434/presentation/
●丸山宏、「機械学習工学へのいざない」、人工知能学会誌 33巻2号（2018/3）
●進藤智則、「深層学習や機械学習の品質をどう担保するか？新しいソフト開発手法と位置付け「工学体系」構築へ」、NIKKEI Robotics 2018年6月号(2018/5)
● Kunle Olukotun, “Designing Computer Systems for Software 2.0”, ISCA’18 Keynote (2018/6)

科学技術振興機構（JST）研究開発戦略センター（CRDS）
システム・情報科学技術ユニット　フェロー
福島俊一

福島俊一（ふくしまとしかず）
　1982年東京大学理学部物理学科卒業、NEC入社。以来、中央研究所にて自然言語処理・サーチエンジン等の研究開発・事業化および人工知能・ビッグデータ研究開発戦略を担当。工学博士。2005～2009年NEC中国研究院副院長。2011～2013年東京大学大学院情報理工学研究科客員教授（兼任）。2016年4月から科学技術振興機構研究開発戦略センターフェロー。2015～2017年人工知能学会理事、2018年～人工知能学会監事。1992年情報処理学会論文賞、1997年情報処理学会坂井記念特別賞、2003年オーム技術賞等を受賞。