車両を最適設計し、安全に運行させ、線路を的確に保守する――。日立製作所（以下、日立）では、そうした鉄道システムの制御と車両設計にメタバースを活用する研究を加速させている。これが「鉄道メタバース」だ。研究所内には、天井・壁・床を大型スクリーンで構成するメタバース空間が設置され、線路や車両の3D映像を映し出してさまざまな情報をオーバーレイしつつ、担当者が保守の状況について会話している状態がすでに再現されている。HMD（Head Mounted Display）は不要だ。さらに、線路の異常検知には生成AI (Generative AI)が裏で大活躍する。日立が取り組むメタバースの産業応用の一つとして、研究開発グループの今本リーダ主任研究員と藤原リーダ主任研究員に、日立が開発する「鉄道メタバース」の詳細と未来展望を聞いた。
（2023年7月31日 公開）今本：モノを作ったり数学的な考え方をしたりすることが性に合っているので、高校は理系コースを選択し、大学も工学部の電気情報工学科に進学し、4年生の時に情報セキュリティの研究室に配属になりました。修士1年のときに国際学会で発表する機会があり、その後は1～2カ月に1回ぐらいの頻度で学会発表を経験しました。この辺りから自分の将来像がどうやら研究者らしい、と具体的にイメージするようになり、その後も博士課程修了まで情報セキュリティの研究を続けました。
その研究室に日立に勤務する社会人ドクターの方がいたので、具体的な話を色々お聞きして興味を持ったのが日立との最初の出会いです。その後、鉄道や自動車などモビリティの制御を研究する部署の方からも話を聞く機会を得て、最終的に日立への入社を決めました。ずっと情報セキュリティの研究をしてきたのですが、その頃は、変わりたい、新しいことにトライしたいという気持ちのほうが強く、特に、大きなシステム全体を制御することに興味があったので、入社以降ずっと鉄道のモビリティ制御に関われているのはラッキーですね。
藤原：そういう今本さんと比べると、私はかなり自分探しのために右往左往しました。高校まではむしろ国語の方が好きだったのですが、「理系から文転はできるが、文系から理転は難しい」と考え、とりあえず理系を選びました。大学入学後も方向性ははっきりしてなかったのですが、4年生の研究室の配属時に、超電導（Superconductivity）を初めて目の当たりにしてとても感動し、ようやく気持ちが定まり（笑）、物性物理の研究を選びました。研究室の先生から大学院に行ったほうがいいと勧められ、修士課程まで物性物理の研究をしていました。
もともとテレビやゲームなどの家電機器が好きで、ちょうどテレビが地デジ（地上デジタルテレビ放送）に変わるころだったこともあり日立に興味を持ち、入社しました。「物性物理を研究し事業化したい」と希望しましたが、なぜかソフトウェア部門に配属されました。しかし、だからこそ今の自分がいる、ということも確かですね。
今本：入社後はずっと鉄道関連の研究に携わってきました。鉄道の無線、無線式列車制御システムのCBTC（Communication Based Train Control）、無線通信の安全性を確認するための伝搬状態のシミュレーションソフトの開発などを手掛けてきました。その後、鉄道の保安システムの安全性の機能開発・検証に携わり、日立が国際規格に準拠した証明書を獲得することなどに貢献したと自負しています。セキュリティとセーフティーは異なる概念ではありますが、基本的な部分は同じですね。
そして2022年に、鉄道の安全の確保のために製造や保守の工程をメタバースで体験できる設備を作るプロジェクトがスタートしました。日立が進めるデジタルイノベーションを加速するソリューションLumadaの一環として、メタバースにさまざまな情報を埋め込んで活用しようという取り組みです。ここで藤原さんと一緒に仕事をすることになった、というわけです。
藤原：そうですね。それまで私は業務ではデジタルテレビのソフトウェアテスト自動化や、物流の倉庫作業者の効率化、様々な機器のメンテナンス訓練や現地作業の効率化など、多方面の案件に取り組んできました。2013年にVR（仮想現実）に出会い、初めて触って、面白いと感じCG（コンピュータグラフィックス）やVRの勉強を個人的に進めていきました。そして社外活動を続けるうちに、2016年に技術コミュニティリーダに対してMicrosoftがグローバルに表彰するMicrosoft MVP(Most Valuable Professional) を受賞することになりました。一方で、担当していた物流プロジェクトではAR（拡張現実）のメガネを使って作業を効率化したいという課題と私の興味が一体化して提案につながり、テレビのニュース番組で紹介されるような機会にも恵まれました。こうした活動を行っていくうちに社内外でARやVRは藤原に聞くと良いのではというムードが出てきて、今回の鉄道のメタバースのプロジェクトに呼んでもらうことになり、そこで今本さんと合流するわけです。
今本：現在はメタバースの鉄道分野への適用について研究しています。鉄道分野でメタバースは、線路の工事や保全のシミュレーション、異常検出、車両の組み立て保守のシミュレーション、設計製造などへのフィードバック、さらに輸送障害対応などの指令業務の改善、快適な駅空間の設計・保守など多方面に活用が想定されます。
そこで研究開発グループの茨城サイトに、5台のプロジェクターを使って、人間が空間の中に入り込んで環境を体験できるメタバース設備を構築しました。ここで現在は線路のメタバースと車両のメタバースを実現しています。HMDなどを使わずに前方と上下左右の空間を体験できます。
その1つである線路のメタバースは、実際の鉄道の環境で写真をたくさん撮って、写真から3Dモデルを構築しています。これ自体はただの3Dモデルですが、メタバース空間に表示しながら運用や保守の情報をオーバーレイで表示させるようにしています。
このメタバースの1つのユースケースが、線路の保全です。メタバースに線路の画像を表示していますが、線路の部分に赤や緑の表示がオーバーレイされていることにお気づきかと思います。これは、線路に異常がありそうなところに赤い表示を、そして正常な状態であるところには緑の表示をしています。線路の画像からAIで異常を認識しているのです。
藤原：線路の異常の認識には、画像生成AIを利用しています。車両の前方カメラで撮影した画像をこの生成AIに入力すると、線路の状態が正常、異常に関わらず、「正常な線路の画像」を出力するように設定されています。カメラで撮影した入力画像と、生成AIによって生成された出力画像を比較し、その差分から線路の異常を認識し、メタバース空間に赤い表示でオーバーレイするというわけです。
線路の異常や、ホームなどの建屋のひび割れ、沿線の火災など、線路の保全にはさまざまな異常事態があります。しかし、そうした異常の画像は多く入手することが難しく、「AIで異常を学習する」ことは現実的ではありません。一方で正常な線路やホーム、沿線の画像は多くありますから、正常な画像を生成するAIを作って差分を取る方法が有効ですね。
今本：そうですね。で、この次にどういう異常かを認識するAIが働きます。ここでも生成AIを用い「正常な状態の画像を入力した上で、指定された異常な状態を作る」のです。レール破断、ホームのひび割れ、沿線火災などの画像を学習させ、異常と判断された場所について画像を入力することで破断やひび割れ、火災などの画像を生成します。その上で入力画像と比較して「どんな異常が発生しているか」を認識します。先ほど「異常なデータは少ない」と言いましたが、線路以外の鉄の構造物が破断している画像や、ホーム以外の建物のコンクリートのひび割れ、火災そのものの画像はたくさんあります。こうした画像を学習させ、線路や鉄道保全の入力から異常な状態の画像をAIに生成させる技術を開発したのです。
線路のメタバースには、3つの大きな用途があると考えています。1つが、メタバース空間をスマートグラスやタブレットなどによって現場でARのように表示させて、線路などが赤く表示されたら保全するように作業を支援する方法。2つ目は完全リモート保守です。保守員が自宅などから現場で撮影した画像とオーバーレイした異常な状態の画像を見て、保守計画などを立案していく方法です。そして3つ目が、トレーニングです。メタバース空間で補修箇所が赤く表示された現場の画像を見て、どういった場合に補修が必要かを学びます。メタバース空間には保守の方法に関する写真や動画を同時に表示することができるので、その場で保守の仕方が学べてしまうのです。さらに現在議論しているのは、メタバースの線路に生成AIで異常をわざと作り、新人の補修員がいくつ見つけられるかといったトレーニングキットの開発ですね。ゲームのように楽しみながら学習ができる、というわけです。
もちろん「夜の場面」も再現可能です。鉄道の保全作業は運行が止まっている深夜から未明に行うことが多いので、実際に作業する夜の現場を事前に体験しておくことはとても重要です。夜は本当に暗くて見えないということ、あるいは夜間の保守にはどんな危険が潜んでいるか、といったことを学べます。
藤原：メタバースはHMDで再現する方法もあります。しかし、異なる場所から1つの空間に入るメタバースではHMDが良いと思いますが、物理的に同じ空間で多数の情報を共有しながら確認したい場合には、プロジェクターなどを使ったリアルの空間型のメタバースが適していると考えています。生身の人間同士の対話とメタバース空間を“合成”していると言えるでしょう。
今本：鉄道車両そのもののメタバースも開発しています。ここでデモをするのは実際の車両CADデータを使って作った車両メタバースです。車両の中のメタバースで、車両の整備や設計保守に役立てることを想定しています。最初は普通に車両に乗っているような状態をメタバースに表示させていますが、椅子などを消して筐体だけを見ることもできますし、車内から台車を見たり、保守の実際の視点である下部からの表示をさせたりすることもできます。この車両メタバースには、提灯のようなものがたくさん浮かんでいます。ここに、車両の運用情報や設計の仕様変更情報などが紐付けられているのです。単に設計変更情報を見るだけではなく、設計変更前後の仕様を比較表示する事で、設計変更が必要となった状況をメタバースで追体験できるのです。
藤原：線路の風景や車両空間をメタバースとして表示することはさほど難しいことではありませんが、そこにどのように適切な情報を埋め込んで、それを元に保全や設計保守などに活かせるかどうかが重要です。メタバースに皆で入って情報を手軽に共有できることで、例えば立場の異なる人の意思疎通や合意形成が促進されるはず、と考えています。どのように情報提供するとさらなる深い理解の促進につながるのかが今後の研究テーマですね。そしてこの段階では、現場を知っている人たちの知見が不可欠ですから、現在はかなり事業部門と密接に連携してプロジェクトを進めています。
藤原貴之（FUJIWARA Takayuki）
研究開発グループ デジタルサービス研究統括本部仮想空間の功罪を考えるヒントを与えてくれる
ライトノベル「ソードアート・オンライン」（川原礫著、電撃文庫）を紹介します。漫画やアニメ、ゲームなどにもなっていて有名なもので、VRに携わっている人なら誰もがご存知でしょうね。五感を再現した仮想空間を体験できるヘルメット「ナーヴギア」が開発された現代の日本が舞台の物語です。最初は理想のファンタジー世界を体験する様子が描かれているのですが、この空間を作った科学者が仕掛けた制約により、プレーヤーはゲームをクリアしないと仮想空間からログアウトできず、仮想空間の死が現実にも反映されてしまいます。仮想空間で暮らす楽しさと死と隣り合わせの緊張感が描かれた不思議な形で物語が進み、とても楽しく読めます。仮想空間を扱うことが当たり前になった世界での人々の活用方法、社会問題なども描かれており、研究開発に対しても多くの気づきを与えてくれています。面白いですよ。
今本健二（IMAMOTO Kenji）
研究開発グループ サステナビリティ研究統括本部100年前の英国と今も変わらぬ人間の滑稽さを知る
人間に焦点を当てている本が好きで、お勧めしたい書籍はたくさんあるのですが、今回は、イギリスのユーモア小説「ボートの三人男」（ジェローム・K. ジェローム著、丸谷才一訳、中公文庫）を取り上げたいと思います。1889年に書かれた書籍で、テムズ川をボートで漕ぎ出した3人の男の愉快で滑稽、皮肉で珍妙な旅行記です。元々は旅行雑誌に載った小説で、どうしようもないというか、笑ってしまうような話が詰まっています。100年以上前と人間は変わっていないんだなと感じるところです。子供の頃から本好きだったんですが、高校入学時点で仕事として理系を選んだ私にとって、人間を中心に考えることの視点を与えてくれる好著です。中学生の頃に読書家の兄の書棚で見つけて以来の愛読書です。
「夜の場面」も再現可能です。鉄道の保全作業は運行が止まっている深夜から未明に行うことが多いので、実際に作業する夜の現場を事前に体験しておくことはとても重要です。夜は本当に暗くて見えないということ、あるいは夜間の保守にはどんな危険が潜んでいるか、といったことを学べます。」 (今本) 線路の異常の認識には、画像生成AIを利用しています。車両の前方カメラで撮影した画像をこの生成AIに入力すると、線路の状態が正常、異常に関わらず、「正常な線路の画像」を出力するように設定されています。カメラで撮影した入力画像と、生成AIによって生成された出力画像を比較し、その差分から線路の異常を認識し、メタバース空間に赤い表示でオーバーレイするというわけです。（藤原）