英国エディンバラ大学との協創で生まれた複数AI協調制御技術

木村物流倉庫の効率化という課題に対して、日立製作所ではこれまでも低床式無人搬送車「Racrew（ラックル）」などにより対応してきた。「モノを運ぶ」ための技術はできてきたが、人が腕を使って「モノを取る」という、ピッキングの工程を自動化することができていなかった。

ピッキングの自動化が難しいのは、ロボットの動作には柔軟性とスピード感がないからだ。ロボットは一定作業の繰り返しは速いが、物流倉庫で多品種を扱うにはその都度違う動作が必要なため、高速化にあたって壁があった。

この課題を解決するにあたり、これまではピッキング時に搬送台車をいったん止め、そのあいだにロボットアームが考えてモノを取る、という方法をとっていた。今回の「複数AI協調制御技術」はそれをさらに一歩進め、無人搬送台車（AGV）を止めなくてもピッキングできるようにしたものだ。

今回の技術のポイントは「搬送台車制御AI」「ロボット制御AI」「ピッキング方法判断AI」という三つのAIを組み合わせたところにある。それぞれのAIは自律して動くが、とくに重要なのが「ピッキング方法判断AI」で、「ロボット制御AI」と「搬送台車制御AI」の両方の動きを知りつつ状況を総合的に判断する。いわば司令塔となるこの「ピッキング方法判断AI」を新たに加えたことが、今回の技術の新境地といえる。

「ピッキング方法判断AI」は搬送台車で運ばれる商品のケース内をカメラで撮影し、どの商品であれば、また、どのくらいのスピードで走ればそのモノが取れるかをリアルタイムで判断し、ロボット制御AIと搬送台車制御AIに伝える。この指示をそれぞれの制御AIが自律的に遂行することで、高度な「協調制御」が実現される仕組みだ。

ピッキングの際に搬送台車を一度止める従来のやり方では13秒かかっていた作業が、今回の技術により8秒程度でできるようになった。いまは実験段階なので台車の動きは0.5m/秒とそれほど速くないが、カメラの性能を上げて画像認識の精度が高まれば、より高速で台車を動かしたままピッキングできるようになる。

現時点でも一つのモノであれば走行中に取れるが、最終的には走行中の搬送台車からロボットアームがどんどんモノを取れるシステムを実現したい。

坂井我々と同じように、「モノを取ってどこかに入れる」というタスクに挑んでいる研究開発事例は多い。しかし、入ってくる台車が停止するのを待ってから商品を一つ取り、次の台車が入ってきてそこからまた停止するのを待って商品を一つ取るというやり方だと、作業者を人からロボットに置き換えることができたとしても時間のロスが出るシステムであり、不十分であることに変わりはない。

我々の「複数AI協調制御技術」は、時間をロスすることなく搬送台車を動かしながらピッキングできるところに大きな独自性があり、搬送台車の動きは相当に速い。しかも制御を行うバックエンドのコンピュータは、数万円程度のGPUが積んである普通のデスクトップマシンで十分だ。専用サーバを要するほどの環境は必要なく、用途に応じてスケーラブルにできる。

木村2015年8月に日立製作所は「自律移動型双腕ロボットの制御技術」を開発したが、それに先立ち、2014年度の終わりに英国大使館のアレンジで、日立をはじめとする日本のロボット技術を視察するため英国から研究者が数多く来日したことがある。日立研究所（日研）に英国の各大学のロボティクス関係の教授が集まり、彼らに向けて私の上司である渡邊高志が我々が行っている研究を説明する機会があった。来日したなかにエディンバラ大学の教授がおり、彼らとの関係はこのときがきっかけで始まった。

エディンバラ大学がやっていたのは「動的環境下でのロボット制御」という研究で、これは周囲の環境が変わっていくなかでのロボット制御、たとえば「人が持っているコップに対して水を注ぐ」とか、「人が手を少しだけ動かしたときにそれに追従する」というものだ。彼らは「環境が変わる」ということに対して柔軟に動作できる技術を持っており、ある環境のもとでの動き（たとえば搬送台車）が決まっていて、なおかつ「これを取りたい」というモノも決まっている場合、最適なロボットアームの動きを一つのアルゴリズムで計画できる。

彼らのこの技術をうまく使いつつ、我々が以前からやってきた「周りの状況を理解する」という認識技術とミックスさせれば、物流倉庫が抱えている課題が解決できると考えた。最終的にエディンバラ大学のもつ技術と我々の技術を統括し、世界のどこにも存在しないシステムができたと自負している。

坂井エディンバラ大学の技術を使うと、場所を指定した上であれば、そこに対する最適なロボットアームの軌道を計画できるのだが、「モノが動いている」という状況下において、どのモノを取れるのかまでは判断できなかった。取りやすいモノならばともかく、ゴチャゴチャとモノが入っている状態だと、どれを取ったらいいのかわからない。その解決のために必要な認識技術を日立製作所側で開発した。

具体的には、さまざまな荷姿のケース内画像を4万2000枚用意し、対応する3Dモデルをもとに数十万通りのピッキング作業をシミュレーションした。その結果と画像の組を「教師データ」として、深層学習により認識処理を構築した。

この技術をエディンバラ大学がもつ技術と一緒に使うことで、移動を伴う複雑な環境にあるモノのなかから、どれがピッキングできるかを判断することができるようになった。さらに0.3m/秒と0.5m/秒の二通りの走行速度での実験を繰り返した結果、上向きに置かれた手近なモノを取り出すときは0.5m/秒で台車を移動させ、傾いていて取りづらいモノをピッキングするときは0.3m/秒で移動させる、という判断をAIが行うことが可能となった。

エディンバラ大学とのコラボレーションにあたっては、先方の教授の直下にいるドクターやポスドクの技術論文を読み、彼らの技術を理解していった。彼らも機械学習の知識は持っており、お互いの技術を理解し合ったあとは「こういうシステムをつくろう」という話をして、それぞれの国に帰ってからもやりとりを重ねていった。

ただ、大学が開発する技術はあくまでもアカデミックな成果物なので、すぐに現場には実装できない。こちらからリクエストを伝え、彼らのほうで改良を重ねてもらった。こちらがリクエストすると、「たしかにその発想はなかった。修正するから待っててくれ」という反応がすぐに返ってくるので、改良バージョンが送られてきたら検証し、使える技術としてこちらの現場に組み込む、というプロセスを繰り返しながら開発していった。

木村どうやったら「世界初の研究」ができるのか、ということで悩む日々だった。単純に「動いているモノを取る」という研究はこれまでにもあった。それらとの違いをどう出していけるか、どういった価値を出せるか、ということを考え抜いた結果、「ロボットアームの動き」と、「搬送台車の適切なスピード」の二つを学習させるというアイデアが出てきた。これが「複数AI協調制御技術」という発想の肝になった。

エディンバラ大学の技術を用いた動作計画の結果を見ながら、「ここが取れないのはおかしい。なぜだろう」という話をしていたときに、坂井が「スピードを下げてみたらどうか」と言ったのがブレイクスルーとなった。台車を減速して実験してみたところ、たしかにピッキングの成否が変わるとの結果が出たため、「こういう状態にある物品を取るためには、台車はこの程度のスピードで動かさなければいけない」という法則がどうやらありそうだ、ということがわかってきた。

坂井開発の過程で大変だったことは二つある。まず難儀だったのは、つかむモノも含めて、環境内に動いているものがあることだ。関連研究でもモノをつかむ方法は研究されているが、それは動かないモノを想定し、ロボットの手先のみに着目していた。しかし、動くモノはロボットにとって障害物になるので、手先の位置が良くとも、ロボットアームが周りのモノにぶつかり対象をつかめない場合もありうる。演算された軌道計画をきちんとロボットアームが遂行できる、つまり「モノをきちんとピッキングできる」と言えるつかみ方を学習する新しい技術が必要になった。

今回の技術は、人には簡単でもロボットには難しいことを実現するためのものだ。ピッキングがうまくいくポイントを見つけるためには、つかむ対象となるさまざまなモノに関する機械学習用の教師データが大量に必要となる。二つ目に大変だったのは、そのデータをどうやって集めるのかという問題だった。アカデミックな研究であれば、公開されているデータセットだけを使って性能評価ができるが、現場で実際に使える技術にするにはデータの集め方から議論しなければならなかった。

データの作り方についても参考にできるものが何もなかったので、手探りで改良を繰り返していった。今回の実験のためには4万2000枚の画像データを用意したが、箱を写した一つの画像には十数点程度のモノが写っており、実際には何十万という膨大な量のデータを集めることになる。そのため、モノの入った箱を何度も入れ換えて写真を撮影しなければならなかった。

この部分の作業を削減しないと、せっかくロボットによって一つの仕事が自動化できても、また新たな仕事をつくってしまうことになる。教師データをつくるプロセスは自動化し、より簡略化・短縮化できるはずだ。

木村大学時代の専攻は機械系で、「モノの音」に関する研究室にいた。具体的には「ブレーキ鳴き」（オートバイのブレーキが「キキィーッ」と鳴る現象）がなぜ起こるのか解析していたが、卒業後は分野を変えて新しい技術や製品に携わりたいと考えた。

日立製作所入社後は、ずっとロボット関係の部署にいる。最初は自律移動ロボットを研究し、2009年頃からこの技術をつかって工場内の搬送ロボットの製品化にとりかかった。2014年には棚を運ぶ「Racrew(ラックル）」を製品化し、「モノを運ぶ」ということは大体できたので、その頃からは「ロボットに腕を付けて何かの作業をさせる」、具体的には「何かを取る」ということが目標になった。2015年には双腕で移動しながら倉庫内作業をするロボットを開発し、ニュースリリースを出した。

今回開発した技術は、広くは「環境認識」の範疇と捉えることができる。センサを使って周囲を見たり、あるモノをカメラを使って認識したりという研究であり、ロボティクスのなかでも日立製作所が注力してきた分野の一つだ。そこに大量のデータを与え、ロボットがそこから答えを導き出すという機械学習によるAIの研究が組み合わさり、今回の技術が生まれる土壌となった。

今回は物流倉庫を前提とした実験だが、「組み立て」「加工」などの工程でも、知的に考え行動する産業ロボットが活躍する領域を増やしていきたい。

坂井子どもの頃から知的な機械に興味を持ち、ロボティクスの分野の中でも「生物規範型ロボット」、具体的には二脚ロボットをやっていた。 “規範”とは“真似る”ということで、いわば「模倣型」、ようするに生物からヒントを得てロボットをつくるということだ。

2016年に知能情報研究部に配属となり、「ロボットがモノを取る」という技術を実現するために働いている。機械学習を使えば、もっとロボットを知能化できると考えており、今回の技術でもその部分を私が担当した。

基本的に現在のロボティクスの分野は、対象が限定されているために実践しやすい環境下にある。そうした領域での自動化が実現した先には、巷の人が喜んでくれたり、親しみやすい「人っぽいロボット」や「柔軟な動きができるロボット」をつくりたい。

木村ロボットの研究開発において、「人と同じようなロボット」は究極のテーマだが、そこに向けた研究にはいろいろなアプローチの仕方がある。たとえ「見た目が人そっくりなロボット」や「人と同じようにコミュニケーションができるロボット」ができたとしても、そのロボットはなにも作業ができないかもしれない。

他方、見た目は「人」とは全然違うが、「皿洗い」などいろいろな作業をしてくれるロボットもあり、これもロボティクスの一つのあり方だ。私は「働くロボット」が行う作業の精度と幅を、人間のやっているレベルにまで高めることに取り組んでいきたい。

坂井大学の同期生は重工業やヘルスケアなどいろいろな分野に行ったが、AIの技術や知識はさまざまな分野で発展させられる。産業用ロボットの世界の動きは速い。私が大学時代に学んだ生物学や生物学寄りのロボット研究はゆったりとした進み方だが、機械学習の技術を入れることで、この分野でも新しい筋肉のモデルやそれを元にしたアクチュエータがつくれると思う。

木村チームリーダーとして社内のいろいろなところに出向くようにしており、他のプロジェクトの一員として入ることもある。他の研究センタから私と近い立場の者が集まることが多く、そこでの意見交換は有益だ。いま自分が抱えている問題を、他の研究者が大学時代に研究していたりすることもある。各センタの研究チームとの間で、「いまこういうソフトを持っているから提供できる」とか、「これが足りていないから使いたい」というギブ＆テイクの関係ができるようになってきた。

坂井社外の勉強会にもよく行くのだが、そこで出会う他の企業の人たちも自分と同じ興味を持っていることが多く、すぐにつながることができる。SNS で技術の話をする人もいて、「そういうことで悩んでいるなら、一緒にやろうか」という話になることもある。また逆に「こういうおもしろい技術がある」ということを教えてくれたりする人もいる。いまはそうやって社外やネットからも情報を得ることができるので、新しい考えを思いつきやすい状況にあるように思う。