ニュースリリース

AIを活用し、データ分析・利活用の準備作業を効率化する
「Data Preparation Service」を提供開始

膨大かつ多種多様なデータの仕様や欠損値などをAIが提案、
高品質なデータを効率的に準備し、お客さまのデータ利活用を促進

  株式会社日立製作所(執行役社長兼CEO:東原 敏昭／以下、日立) は、このたび、データの分析や利活用を行うための準備作業である「データ前処理」を、AIで効率化する「Data Preparation Service」(以下、本サービス)を新たに開発し、2019年10月2日から提供を開始します。
  本サービスは、社内外から収集した多種多様なデータを解析して、仕様や傾向を把握するデータの理解から、クレンジング*1などの加工方法の検討・検証、実際の前処理の実行まで、従来は人手で膨大な工数を要していたデータの整形・加工作業を高度化するものです。具体的には、お客さまやプロジェクトごとに本サービス専用の環境を用意し、投入されたデータの項目名や欠損値、データ間の関連性などを提案する機能や、データサイエンティストなどの熟練者が有するデータ加工方法のノウハウを登録・共有できる機能などを提供します。
  本サービスにより、熟練者が有するプログラミングや統計などの高度なスキルやノウハウがなくても、高品質かつ効率的なデータの前処理を行うことが可能となります。前処理の作業負荷を軽減することで、本来時間と工数をかけるべき分析作業に集中することが可能となり、お客さまのデータ利活用の促進とデジタルトランスフォーメーションを支援します。
  近年、業務データのみならず機器やセンサーから得られたIoTデータなど異種混合なデータをビジネスに活用するニーズが高まっています。しかしながら、現場で生成されるデータには項目の定義情報がないことや同種のデータがシステムごとに異なる名称で管理されることも多いため、実際に分析や利活用を行う際はデータの仕様把握や形式統一、類似データの統合*2などの前処理が不可欠です。
  こうしたデータ前処理の作業は、データサイエンティストなどが業務有識者にヒアリングを行い、クレンジングや統合などの検証を繰り返し行う必要があるため、分析作業全体の8割の工数を占めるとも言われています。さらに、データ統合のミスが分析結果に影響し、失敗につながるケースも多いため、作業の専門性や属人性に加え精度面も課題とされています。

  日立は、Lumada*3事業を展開し、データから新たな価値を創出する多様なソリューションを提供しています。そこで培ってきたノウハウを活用し、今回、「Data Preparation Service」を開発しました。
  データ前処理は、一般的に、データの仕様を特定する「データ理解」と、仕様に基づいてクレンジングや統合を試行する「データ加工の検討・検証」のプロセスを繰り返し、データの品質を高めていく作業です。本サービスでは、データの項目や欠損値、データ間の関連性など、データの理解に必要となるさまざまな情報を解析し、直感的かつグラフィカルに提示します。
  また、加工方法(前処理ロジック*4)を登録・共有する機能を備え、欠損値の補完や異常値・重複データの排除といった専門性の高い加工作業を手軽に検証できるほか、ETLツール*5との連携機能により、検証済みの前処理ロジックをETL上で個別に実装することが不要となるため、リアルタイムに発生するデータの前処理を効率的に定常運用*6へ移行することが可能です。
  本サービスにより、多種多様なデータの整形や加工作業の効率化を支援し、高品質なデータをデータレイク*7に格納できます。これにより、さまざまなデータ分析をはじめ、AIに投入するデータや、IoTシステムへの入力データ、業務システムへの入力データの整備など、幅広い用途でデータの利活用を促進します。

  今後、Lumadaを用いたデジタルトランスフォーメーションを迅速かつ容易にする「Lumada Solution Hub*8」との連携を図るなど本サービスを強化し、お客さまやパートナーとの協創やデータ利活用のさらなる促進と新たなビジネス価値創出に貢献していきます。

*1

データ加工の一種。欠損値の補完や異常値の排除を行う作業。

*2

データ加工の一種。重複したデータの排除や関連付けを行う作業。

*3

お客さまのデータから価値を創出し、デジタルイノベーションを加速するための、日立の先進的なデジタル技術を活用したソリューション、サービス、テクノロジーの総称。

*4

統合やクレンジングといった処理を実際に実行するためのプログラム。処理の流れや手順を組み込んだもの。

*5

Extract Transform Loadの略。基幹系システムをはじめとするあらゆる業務データに対して、利用者側が作成した前処理ロジックをもとに、必要なデータを抽出・整形する作業を自動化するソフトウェア。本サービスでは、日立のデータ統合・分析基盤「Pentaho」のほか、お客さま任意のETLツールをご利用いただけます。

*6

新規追加・更新されるデータを含めたすべてのデータに対して、継続して同じ処理を行うこと。

*7

さまざまなデータソースからの大量データを多様な形式で一元的に格納するリポジトリ。構造化データ、半構造化データ、非構造化データを格納でき、将来の利活用のためにデータをより柔軟な形式に保持するもの。

*8

ニュースリリース(2019年3月18日) Lumadaソリューションの導入を迅速かつ容易にする「Lumada Solution Hub」を販売開始

「Data Preparation Service」の特長

1. データの仕様や品質をAIで解析し、項目名や外れ値の推定などデータの「理解」を支援

  データの仕様理解に必要となる情報を自動で解析する各種機能を提供します。具体的には、速度や緯度経度といったデータの指し示す名称をAIで推測する「データ項目名推定」機能のほか、データの特徴や傾向をAIが解析し、不要なデータや形式の統一・変換が必要なデータなどをグラフで可視化する「データプロファイル」機能、データ統合の検討に必要となるデータ間の関連性を、各データの特徴量から自動で判断し提案する「データ間関連性分析」機能を保有しています。これにより、データの仕様や傾向を容易かつ高精度に把握することを可能とし、業務有識者や各データ提供元へのヒアリング、仕様書の確認、品質調査などデータの「理解」に関わる業務負荷を軽減します。

2. データ加工方法の共有やコーディングレスの画面操作により、ロジック検証を効率化

  クレンジングや統合に関するデータの加工方法を共有できる「前処理ロジック共有」機能により、あらかじめ登録された標準的なロジックに加え、よく使われる汎用的なロジックや熟練者の専門ロジックをチームやプロジェクト内で効率的に共有できるため、前処理のためのロジック検討・検証の作業効率化とスキル向上に寄与します。
  また、データ仕様の理解からロジックの検証までの一連の作業は、直感的でグラフィカルな画面設計により容易に実行できるため、ロジック検証の都度、人手を要していたコーディング作業が不要となります。

3. 検証した前処理ロジックをETLツールに連携し、シームレスな前処理の実運用を支援

  検討した前処理ロジックを、お客さま任意のETLツールに連携する「前処理ロジックエクスポート」機能により、個別にロジックを実装する手間なく、さまざまな機器やシステムから発生するデータの前処理を効率的に定常運用へ移行することが可能です。検証したロジックを直接ETLツールに連携できることから、データ理解から前処理ロジックの検証、実運用までをシームレスにつなぎ、お客さまのデータ利活用を促進します。

「Data Preparation Service」の価格および提供開始時期

関連情報

Hitachi Social Innovation Forum 2019 TOKYOでの紹介について

本製品は、日立が2019年10月17日(木)〜18日(金)に、東京国際フォーラムで開催する 「Hitachi Social Innovation Forum 2019 TOKYO」において、ご覧いただけます。

日立製作所について

  日立は、OT(Operational Technology)、IT(Information Technology)およびプロダクトを組み合わせた社会イノベーション事業に注力しています。2018年度の連結売上収益は9兆4,806億円、2019年3月末時点の連結従業員数は約296,000人でした。日立は、モビリティ、ライフ、インダストリー、エネルギー、ITの5分野でLumadaを活用したデジタルソリューションを提供することにより、お客さまの社会価値、環境価値、経済価値の3つの価値向上に貢献します。

お問い合わせ先

株式会社日立製作所 システム&サービスビジネス統括本部 アプリケーションサービス事業部
事業企画部[担当:酒井、藤野、奥野]
〒212-8567 神奈川県川崎市幸区鹿島田一丁目一番二号

以上