産業分野では、高い品質管理と生産効率の向上が常に求められています。日立製作所は株式会社ダイセルと共同で、工場の3要素（人・設備・材料）を総合的に分析する画像解析システムを開発しました。中でも特に「人」に着目。カメラによるセンシングで人の動きをとらえ、映像解析により標準から逸脱した動作を検知することで、これまで難しかった「人に起因する問題」の早期発見も実現しました。お客さまとの協創で、モノづくりの現場を革新してゆきます。
永吉 洋登（ながよし ひろと）
主任研究員
寺田 卓馬（てらだ たくま）
研究員
（2017年9月15日 公開）
永吉はい。自動車エアバッグ用インフレータなどを製造されている株式会社ダイセル（以下ダイセル）様と共同で、現場の作業者の逸脱動作や、ライン設備の動作不具合の予兆などを検出する画像解析システムを開発しました。工場に5種類のカメラ（距離カメラ、固定カメラ、高速カメラ、PTZ（Pan, Tilt, Zoom）カメラ、全方位カメラ）を設置して、作業者や設備、材料加工の状態を撮影します。撮影した映像を解析して、ミスや不具合などの予兆となり得る通常とは異なる状態を見つけ出し、その結果をマネージャーなどの監督者に通知します。これにより、不具合の早期発見、品質改善や生産性向上を支援します。ダイセル様の生産ノウハウをベースに、日立で培ってきた映像解析をプラスすることで実現したシステムです。
図1 画像解析システムの構成
寺田この中で我々が主に担当したのが、人の動きに着目した「人の逸脱動作検知」です。設置したカメラのうち、距離カメラは、撮影対象の3次元形状を取得できます。特に人物については、3次元形状から手・ひじ・肩などの関節位置情報を推定することが可能です。この情報を利用し、作業者が標準とは異なる動作（逸脱動作）を行ったことを検知する技術を開発しました。
永吉もともとダイセル様は、製造現場での「人の動き」が非常に重要だと考えておられました。人（Man）と設備（Machine）と材料（Material）は、工場の3要素（3M）と言われています。この中で、これまで設備と材料についてはさまざまな検査が実施されていました。しかし、人の動きに関しては、見ることがなかなか難しかったのですね。そこで、いままで見られなかった人の動きを画像でとらえて、3Mすべてを分析することができればさらに品質が担保できるようになるのではないかということでした。非常に新しい、おもしろいテーマだと思いました。
寺田距離カメラから取得した作業員の手・ひじ・肩などの関節位置データを基に、基準となる標準動作モデルと実際の作業員の動きを統計的に比較します。具体的には、作業員が行う作業を細かい作業単位に分割し、それぞれの作業単位の開始から終了までの5～10秒ほどの間に、標準と異なる動作がなかったかどうか判定します。例えば、目視確認の作業で見るべきポイントを見ていなかったり、立ったままで行う作業で「屈む」動きをしたり、といった動作を「逸脱動作」として検出するわけです。
図2 逸脱動作判定の流れ
永吉この逸脱動作判定に重要となるのが、工程ごとの標準動作モデルです。標準動作モデルを作るためには、現場の正しい動きを何回もキャプチャする必要があります。その際、たくさん動作があればあるほどいいモデルができあがる一方で、多過ぎると工数が問題になります。そこで、前処理として、関節情報のノイズを減らす平滑化と、体の大きさなどの個人差を正規化する処理を加えています。これにより、少ないデータでいいモデルを作ることを実現しています。
永吉はい。また、実際の人の動作には、作業に関係のない情報もたくさん入っています。例えば、足で作業しているわけではないので、足のデータを一所懸命取ってもあまり意味がありません。作業に重要な動きはどこでしょう、というのをお客さまに徹底してヒアリングして決めていきました。そうすると、余分なデータがない分、サンプル数も少なくて済むようになります。作業に関係する情報に絞ったことで、少ないサンプル数できれいな標準動作モデルを作ることができるようになりました。
永吉ヒアリングは大いに活用しました。「現場での逸脱動作とは何か」をまず理解するため、お客さまの作業要領書をステップバイステップで追いかけ、作業工程をすべて洗い出していきました。お客さまの作業は、お客さまはよくわかっているけど、我々はよくわかっていない。その差を埋めるために、それぞれの工程がどういう意味があるのか咀嚼しながら、根気よくヒアリングをしていきました。
永吉スピード感・期待感・おもしろさを持続することを意識して取り組みました。期待感を持続させる工夫の一つとして、システムを導入するとこういう風になりますよ、という仮説を「絵」（イメージ）にしてお伝えしたことです。結果がまだない状態であっても、映像や解析結果のイメージを用いて視覚的にわかりやすくお客さまのメリットを説明したことは、効果的だったと思います。
寺田わたしは開発の上流で、試作→提案→確認というサイクルをできるだけ早く回すことを意識しました。まず研究所で構築したデータベースで、次に実際の現場のデータでもシステムが動くことを確認していただきました。
最初は研究所に現場を模した実験環境を整備してデータを取っていたのですが、お客さまがすごく協力的で。作業員の方が研究所まで来てくださって、作業着まで着て実際の作業をしてくださいました。我々ではぎこちない動きになってしまうので、現場の生のデータに近いデータを試作段階で得られて検証できたというのは、とてもありがたかったです。
永吉お客さまには、「互いが持つ技術やデータを惜しみなく出し合い、通常なら3年掛かるシステムをわずか半年で実現できた」と評価していただきました。
永吉スピード感というのは、マンパワーがやはり重要です。お客さまの求める要望にお応えするために、どんどん知見のある研究者を巻き込んでいきました。彼らが自分で動ける人たちだったことも大きいですね。ミッションを細かく与えられない中でも、お客さまの考えを自分で咀嚼して、回答をそれぞれ考えられるチームだったため、スピード感を出せたのだと思います。
寺田やはりお客さまの課題に直にお応えするというところに、知恵の使いどころがあって良かったと思います。通常は事業部や営業でいったんお客さまの課題を咀嚼して、こういう風なものを作ってほしいと依頼されることが多いのですが、今回は最初の段階から一緒になって考えられました。
一方で、ニーズに応えるだけではなく、こちらから新しい技術を提案するために、技術の蓄積が必要であることも実感しています。
永吉そうですね。きちんと次の仕込みもする必要があります。具体的にはお客さまからは聞こえてこないけれど、たぶん次の問題はこれ、という仮説を立てて技術開発をしていく必要があります。また、常に課題になっている問題も世の中にはあります。例えば、セキュリティ分野でも産業分野でも「人の動きをいかに正確に撮るか」というのは、常に課題であり、地道に研究を続けるべきテーマだと思います。
寺田お客さまの要望にお応えすることと、最先端の研究を続けることと、どちらもきちんと守っていく必要があります。しっかりと誠意をもって対応し、お客さまからの信頼を得ることにつなげていきたいと思います。
永吉Lumadaのユースケースとして登録するという話が出ています。個々の技術は汎用化し、ほかのお客さまのところでどんどん使っていけるようなかたちで整備する予定です。
また、今回は産業分野で、人の動作に関するリスク回避や、正しい動作の教育ということを実現しましたが、ほかの分野にも展開していきたいです。そのためにも今後は、画像解析とAI（Artificial Intelligence：人工知能）を組み合わせて、人の作業をアシストしたり、より効率の良い作業の仕方を提案したりできるような技術に磨き上げていきたいと思います。
寺田個人的には、人にかかわる研究に興味があります。映像や画像から、直接目で見るだけではわからないところを抽出したい、という思いがあるんです。人の顔の表情から感情を読み取ったり、性格を推定したりといったことは有名な話ですが、それは画像とバックグラウンドのデータの両方が揃って初めてできることです。同じように、そういったバックグラウンドのデータがあれば、人の行動からも何かしら内面や考えていることを読み取ることができるのではないかと考えています。ぱっと見ただけではわからない、人の行動を引き起こす内面を映像から解析できるようになると、産業分野以外にも、セキュリティなど広い分野で扱える良い技術ができると思います。
永吉わたしは、お客さまと協創を進めるという視点からの目標になりますが…。最近、いろいろなお客さまとの協創案件が増えてきているので、そこをつなげるようなことができたらいいと思います。協創しているお客さま同士が、さらに協創しつつなんてことができたら。あるお客さまのところで扱っている取り組みが、別のお客さまからちょっと気になるから教えてよって言われて紹介すると、うちではこういう使い方ができるかなと逆提案されて戻ってくるかもしれない。一つの技術が、お客さまの間でポンポンと紹介されあって、どんどん次の提案になっていくと、将来バラ色ですね（笑）。
