ロボットが人間の生活にだんだんと関わるようなってきた。一方でロボットの普及が進んでいくと、人間とロボットが干渉し合うことも増える。日立製作所（以下、日立）では、人とロボットが共通認識を持てる仮想空間を実現するコモングラウンドの概念の実用化に向けた研究を進めている。その成果は、2025年日本国際博覧会（大阪・関西万博）で新しいユーザー体験として提供する計画もある。日立でコモングラウンドの研究開発を推進する研究開発グループデジタルサービス研究統括本部デジタルプラットフォームイノベーションセンタの兵頭章彦主任研究員と鈴木真太郎研究員に、仮想空間が仲立ちする人とロボットの共存する世界について説明してもらった。
（2022年5月31日 公開）兵頭：大学時代はモバイル向けの組み込みシステムに使うプロセッサーを研究していました。当時は、日立のSuperH Risc Engine※1ファミリのマイコン（以下、SHマイコン）が業界最高性能を誇っていたことで、憧れがあったことを覚えています。
※１) SuperH RISC engineは、ルネサスエレクトロニクス株式会社の登録商標です。
大学院の修士2年のときに、シリコンバレーのスタートアップ企業でインターンシップとして働いていて、現地で日立の研究者の方と話をする機会がありました。SHマイコンの開発の話などを聞いたことで、憧れだった日立への思いが高まりました。博士課程に進んだ後の就職活動では、他の企業へという声かけもありましたが日立を選ぶことにしました。日立の中央研究所が研究開発をリードしていたSHマイコンは世界の先頭を走っていたからです。実は、シリコンバレーで話をした日立の研究者は、私が入社したときの部長でした。日立とは縁があったのだと思います。
鈴木：大学時代は、AI（人工知能）による画像認識技術を医療に応用する研究をしていました。X線画像上の不鮮明な病変を見つける作業は、高い集中力を要するため、医師の負担の増大が問題になっていました。私が研究していたAIは、画像上の病変を自動的に検出して、医師の診断を手助けすることができます。自身の開発した技術で、社会の課題解決に貢献できることにやりがいを感じていました。日立を意識したのは、就職活動が始まってからでした。大学時代は医療向けの応用研究でしたが、これにとどまらず、さまざまな分野の課題解決に広く応用できそうだと考えていました。幅広い事業分野をもち、DX（デジタル改革）プラットフォームのLumadaを手掛ける日立であれば、さまざまな社会課題の解決に貢献できそうだと思ったのです。
就職活動中には、同じ研究室出身で日立に就職した先輩に相談に乗ってもらったこともありました。「興味の幅が広くて、1つに絞れないんです」と相談したところ、先輩は「日立はいろいろなことをやらせてもらえるから、合っているのではないか」と答えてくれました。そうしたことも決め手になり、日立に就職することにしました。
兵頭：私が学部から大学院に在籍していたころは、様々なものに組み込みシステムが入っていく時代でした。そのすべてを知りたいと、LSI（大規模集積回路）からOS（オペレーションシステム）、アーキテクチャまで全レイヤーにまたがる研究していました。日立入社後は応用研究を担当しましたが、マイコンの技術だけでなく用途開拓にも興味を持つようになっていきました。
鈴木：入社して4年目の終わりを迎えるところですが、研究開発の内容にはかなり変遷がありました。最初の2年間は、鉄道関係のデータ分析をしていました。次の1年は、自動車関係のシミュレーションの仕事をしました。日立のグループ会社が開発した機器やデバイスが自動車に組み込まれるときに使う、日立の中での品質を確保するためのシミュレーターの開発していたのです。
昨年から自動車のシミュレーターと並行して、コモングラウンドの研究にも参加しています。プロジェクトの動き始めでしたから、どんな技術を作るのか、コンセプトを明確にしていくところからのスタートでした。自由度が高く、とても興味が湧く取り組みで、力を注いでいます。
兵頭：日立に入社して17年目、一貫してシミュレーションに取り組んできました。最初はマイコンのシミュレーターを作って、それに回路のモデルを作って検証したりしていました。その後は自動車のシステムに携わり、建設機械、鉄道、エレベータなどのコントローラやセンサ、シミュレータも作りました。自動車で培った技術を横展開できたのです。さらに交通量や街の動きなどから街全体をシミュレーションする取り組みも行いました。SHマイコンのシミュレーターから広がって、シミュレーションするだけでなくリアルとバーチャルの世界をつなぐ、仮想世界の考え方がフィットしてきました。
その後、2019年4月に中央研究所にイノベーション創生を加速するためのオープン協創拠点「協創の森」をオープンするに当たってはビジョン形成から関わってきました。シミュレーションを突き詰めてきた経歴を活かして、サイバーフィジカルシステムをオープンイノベーションの仕組みの中で構築したいという思いをもって研究を進めています。
兵頭：サイバーフィジカルシステムの新しいプラットフォームの研究は、2020年度から特別研究プロジェクト（特研）として、研究所や事業部門をまたがるPJ体制で進めてきています。トレンドとしては、ゲームエンジンの活用や、今ではメタバースと言われることが多くなった仮想空間の応用があります。ゲームエンジンとは、コンピューターゲームのソフトの中で共通して使われる処理を代行するエンジンです。ゲームでは3D空間をリアルタイムに動き回る機能が求められます。仮想空間と現実空間を結びつけるサイバーフィジカルシステムのプラットフォームの開発に、ゲームエンジンの活用が適していたのです。
2021年度は、建築家で東京大学生産技術研究所特任教授、noiz、gluonの豊田啓介氏が提唱するコモングラウンドの概念を実現するためのコモングラウンドリビングラボ（CGLL）の活動に賛同して、具体的な活動を始めました。日立からは、研究開発グループの社会イノベーション協創センタと、私たちデジタルプラットフォームイノベーションセンタをはじめとする技術開発部門が一緒になって、ボトムアップで取り組みを推進しています。社外と社内、両輪を動かしながら新しい分野を立ち上げようというものです。
CGLLは大阪商工会議所と日立を含めた民間5社（株式会社gluon、株式会社竹中工務店、中西金属工業株式会社、株式会社三菱総合研究所）が運営委員となり、Society 5.0実現に向けた汎用的なインフラとなるプラットフォームとしてコモングラウンドを開発する協創の取り組みです。CGLLの運営委員企業の中でも、日立は多くのメンバーがプロジェクトに関わっている中心的な存在です。
鈴木：CGLLがめざしているところは、人とロボットが共通認識を持ち、人とロボットが共に暮らす未来を実現することです。どういうことかというと、人間は目や耳、情報処理をする高度な脳を使って、状況を知覚して判断することが可能です。ロボットはカメラやセンサーで認識して、コンピューターで情報処理をするわけですが、個々のロボットができることは限られており、自身の周囲の状況を認識するだけでも一苦労しているのが現状です。人とロボットには大きな能力差があるのです。
CGLLで実現しようとしているのは、ロボットが活動する建物の側で現実空間の情報を認識、処理させて、コモングラウンドというプラットフォーム上の仮想空間に再現することです。現実空間の知覚や判断は、ロボット単体の中で情報処理させようとすると大変です。しかし、現実空間の情報がいわゆるデジタルツインのように仮想空間上に再現されていれば、ロボットは自分でカメラやセンサー、コンピューターを使って判断しなくても、仮想空間にアクセスして情報をもらうことで人間と同様の判断ができるというわけです。
兵頭：コモングラウンドでは、現実空間をセンシングしてプラットフォーム上の仮想空間に空間を再現して、必要な情報をロボットに配信したり、現実空間にフィードバックして制御したりします。仮想空間上でシミュレーションするだけでなく、現実世界との橋渡しをするところがポイントです。その中で日立は、仮想の3D空間の構築や運用を、IoTやAIの技術を使って実現する部分の技術開発を担当しています。
鈴木：この部屋（インタビューをしている「協創の森」の一室）がそうなのですが、部屋の壁や天井に設置されたカメラやセンサを使い、室内の状況を仮想の3D空間上に再現します。壁があって、床があって、中に人間がいるという現実に忠実な状況を、ゲームエンジンを使ってリアルタイムに再現するのです。コモングラウンドの仮想空間の中で、部屋の形状や家具などの位置、人間の動きがリアルタイムに再現されているので、ロボットはその情報を元に自分の位置情報を使ってぶつからないように動くことができます。
重要なことは、ロボット側にはカメラやLiDAR（Light Detection and Ranging）*２センサーなど高価な機器を用意する必要がないことです。コモングラウンドの仮想空間のリアルタイム情報を使えば、低コストなロボットが人と同じ空間で活動する世界が実現できるのです。
＊２）LiDAR：光をもちいたリモートセンシング技術
鈴木：とは言え、実際に運用可能なものとして落とし込むのは容易ではありません。例えばリアルタイム性ですが、思ったよりも遅延が大きく、うまく制御できないことがあります。ネットワーク遅延を小さくするのは1つの解決策ですが、ハードウェアやソフトウエアの制約によっては対応できない場合もあります。そのような場合には、制御にマージンを持たせて大回りで障害物を避けるとか、人の動きを先読みさせて制御するとか、異なる解決策を探ります。そういった具体的な解決策を、協創棟やCGLLで実際に試行錯誤し、確かめながら開発を進めています。
センシング技術もいろいろありますから、手軽なセンサーやカメラから高価で最先端のLiDARまで、自由に組み合わせて使えることが理想です。我々のプラットフォームは、様々な種類のセンサを組み合わられる柔軟性を持った設計をしています。
兵頭：CGLLの思想をLumadaと合わせられるように、Lumadaを支えるデジタルプラットフォームイノベーションセンタの中で議論しています。技術のコンポーネントはLumadaの一部ですし、APIを公開してプロトタイピングと実証をスピーディに繰り返すことで、イノベーションの創生を加速する方法論もLumadaのビジョンと通じる部分です。
鈴木：コモングラウンドの重要なポイントは、ロボットから見ても認識可能な仮想世界というものは、現実世界に形や見た目がだけが似せてあるだけでは不十分だということです。それではロボットが状況を認識するために、現実世界で人や家具を認識するのと同じ処理コストがかかってしまうのです。そうならないために、仮想空間上の人間や椅子、テーブルなどの物体に、それぞれが何であるか、用途は、材質は何であるかといった、意味的な情報を付与しておきます。我々のプラットフォームでは、意味的な情報を生成してリアルタイムに更新できる知識ベースの「ナレッジグラフ」を備えることで、これを実現しています。そうして生成されたリアルタイム情報を仮想空間上に用意することで、ロボットは自らが必要な情報を取り出して、自身の周囲の状況を正しく認識し、適切な判断ができるのです。
めざしたい姿は、複数のロボットが自在に動き回る空間です。コモングラウンドならば、エリア全体が仮想空間に再現されているので、ロボットのセンサーからは見えない壁の向こうや廊下の向こうの情報も検知でき、より適切な制御が可能です。さらにシミュレーターを接続すれば、未来の予測や、経路の選択などもできるでしょう。
鈴木：コモングラウンドは、メタバース的な用途で使うこともできます。コモングラウンドに遠隔からログインしてもらうこともできるのです。CGLLの1つの目標として2025年の大阪・関西万博におけるSociety5.0の実現があります。自由に歩き回れない人も、アバターロボットを使って遠隔から万博会場を自由に動いてもらって、自宅から現地にいる孫や子供と一緒に万博を楽しめるといった新しい体験を提供したいと考えています。
兵頭：万博での応用以外にも、コモングラウンドは様々なシーンで活用が期待されています。ナビゲーションやシミュレーション、時間や空間の拡張といった利用法です。例えば、仮想の災害シーンを仮想空間上で再現し、ヘッドマウントディスプレイを使った消火訓練を行ったりしています。訓練する人は現実空間で動くのですが、仮想空間上では火の手が上がり負傷者がいるのでシミュレーションで対応の訓練ができます。こうした一連の行動のデータは、ナレッジグラフにグラフ構造で保存されます。データの持ち方や様々なデータの関係性のデータマネジメントについては、こだわって開発しています。
仮想空間を活用することで課題解決につなげるアイデアを募るため、2021年2月には「協創の森」をテーマに、オンラインでハッカソン“Hack on Virtual!”を実施しました。インテリジェントビルで働く人々の「不」や「課題」の解決をテーマとして、バーチャル空間でデジタルプロトタイピングをするものです。アイデアソンで140個のアイデアが出て、その中からプロトタイプを6件作成しました。最優秀賞は「座りすぎ大国の逆襲」で、センサーで監視して、一定時間以上座っていたらドローンやサイレンなどを使って立つように促すソリューションでした。時間をかけず、アイデアを動くところまで実装して試せることから、好評でした。
でもそのときの課題として、ゲームエンジンへの知見がないと開発が難しいことが浮かび上がりました。そこで2021年度は、ゲームエンジンをインストールしないでWebサービスとして仮想空間を簡単に扱えるようにしました。デザイナーとエンジニアがペアでないとプロトタイピングできなかったものを、デザイナーだけでもある程度の試行錯誤ができるようにしたのです。
ノーコード、ローコードの潮流の中で、メタバースの構築も簡単にできることが必要です。私たちの仮想空間は、リアルワールドにひもづくメタバースです。仮想空間で理想の世界を描いて、デジタル主導でリアルの世界を制御して、世界を変えていくとき、それが簡単にできることの価値も付け加えられるようにしています。
兵頭：万博でも、現地に来場した人だけでなく、来られない人や、海外の人も同じ空間で楽しめる体験を提供することが、CGLLのメッセージです。時間や空間の制約を超えて、新しい体験が共有できるプラットフォームがあったら、その中でどういうアプリケーションが有効なのか。サービサーとしての多様な人たちと喧々諤々の議論をしながら、アジャイルで開発することで可能性が広がります。
日立の中は相当に広く、様々な経験をもつ人がいます。でも、日立がどんなに広くても、業務分野の中にしか人材はいません。例えばゲームは業務としては全然タッチしていないわけです。提唱者である豊田先生のおかげで、CGLLには様々な人が集まってきています。日立が持っていない部分を採り入れ、思っていなかったような発想が出てくるオープンな取り組みから、協創の醍醐味を感じています。
鈴木真太郎（SUZUKI Shintaro）
日立製作所 研究開発グループSFの火星でのサバイバルが大きな課題の解決への道を導く
SF小説の「火星の人」（アンディ・ウイアー著、ハヤカワ文庫SF）を学生時代に読み、技術に関わる人間として、とてもワクワクしたことを覚えています。有人の火星探査の途中で事故が起きて、1人が火星に取り残されます。厳しい状況の中で、限られたリソースと自らの知識を総動員して、生き延び、地球への帰還をめざすという物語です。映画「オデッセイ」の原作でもあります。なんと言っても、技術的、科学的な考証がしっかりしていて、物語としても面白いことが学生時代にハマったポイントでした。しかし、仕事をするようになって気づいたのは、この本で描かれている、課題を細かく分割し、限られたリソースを駆使してひとつひとつ解決することで、大きな障害を突破するというやり方は、仕事にも通じるということです。今でも大きな課題に直面したときにこの本のことを思い出します。
兵頭章彦（HYODO Akihiko）
日立製作所 研究開発グループ1冊お薦めの本を紹介するとしたら、世界的なベストセラーになった「7つの習慣」（スティーブン・R.コヴィー著、川西 茂訳、キングベアー出版）を選びます。スティーブが米国の建国200年で書かれた成功の書を読み解いて、身につけるべき7つの習慣をまとめたものです。初めて読んだのは学生のころで、習慣の3「重要事項を優先する」が印象に残りました。就職してからは、個人の主体性に関連する1から3の習慣が役立ち、マネージャーになったころからは4以降の人間関係に関する習慣の意味を理解するようになりました。社会人になって成長とともに役立つ部分が変化していく推薦書です。
もう1冊挙げられるなら「考える技術・書く技術」（バーバラ・ミント著、山崎 康司訳、ダイヤモンド社）を推薦します。論理的思考の本で、いかに構造的に文章を組み立てて相手に伝えるかを示しています。研究者は細かいことを全部言いたくなりますが、言いたいことを絞って構造的に伝えることの意義を学びました。社会人の基盤として、相手の視点に立つことが必要だということですね。
コモングラウンドリビングラボで実現しようとしているのは、ロボットが活動する建物の側で現実空間の情報を認識・処理させて、コモングラウンドというプラットフォーム上の仮想空間に再現することです。ロボットは自分でカメラやセンサー、コンピューターを使って判断しなくても、仮想空間にアクセスして情報をもらうことで人間と同様の判断ができるというわけです。