データの重要性が増し処理すべきデータが増えるにしたがって、これまでのデータ処理に限界を感じている方も多いのではないでしょうか。 特に、データ量が数倍になるなど急増する場合、従来の方法では対応しきれないことが明白です。
このページでは、Pentahoを活用して大量データを高速に処理する方法について解説します。
データ処理をする場合、最初はExcelなどのスプレッドシートで始めることが多いと思います。スプレッドシートはデータの加工やグラフ化が簡単に行えデータ処理には便利です。
ただ、データ量が増え始めるとデータの加工やグラフの表示に時間がかかるようになります。また、加工や表示を行っている間はPCの動作が重くなり、他の作業ができずに作業効率が悪くなります。
スクリプトやマクロでそれを補おうとしてもプログラミングの知識が必須だったりして難易度が高くなります。
保守効率向上のため、センサーを増やしたりデータの取得頻度を増やしたりすることになった。センサーのデータ量は従来の10倍になったが、データ処理に掛けられる時間は変わらない。
週次・月次で取引データや明細データを整形して、レポートや帳票を作成しているが、それぞれのデータは日々絶え間なく入ってくる。蓄積しているデータ量が膨大となり、データ処理時間が許容時間を超過してしまった。
DXの取り組みとして地域ごとの月報・日報ファイルを集め、統合・比較しようとしたところ、地域ごとにフォーマットが異なり、バラバラな数千個のファイルを統合するのが難しい。
Pentahoには、データ収集・抽出・加工・出力を実行する「データ統合基盤」(ETL)」があり、大量データの処理と分析を効率化できます。
PentahoのETLツール（Pentaho Data Integration, PDI）は、大量データの処理に適しています。データレイクやデータウェアハウス（DWH）からデータを抽出し、マルチスレッドで並列に処理することで普通のPCで大量データを高速に処理できます。市販されているノートPCで数億件のデータ処理をしたこともあります。
PentahoはGUIでデータ処理を定義でき、データ処理を視覚的に理解できます。また、定義した内容もすぐに実行確認ができ、その場で修正できるため効率よく開発できます。
ファイルのフォーマットが数十種類あると、一般的なETLツールではそれぞれのフォーマットに合わせて数十個のデータ処理定義を作成する必要があります。Pentahoでは似たようなデータ処理定義をテンプレート化しそのテンプレートを呼び出す処理を開発するだけで数十個のファイルフォーマットに対応できます。
Pentahoに興味を持っていただいた方のために、Pentaho導入までの流れをご説明します。
ステップ
センサーデータや取引ログ、多数のファイルなどの大量データでお困りであれば是非お声がけください。Pentahoでの解決方法を一緒に検討いたします。
ステップ
ステップ1での解決方法のデモンストレーションや評価版もご提供できます。
また、Pentahoを実際に使う方へのご説明も実施します。
評価版もご用意しています。評価版だけだと使い方が分からないという心配もあると思いますが、ファーストステップガイドがあります。
さらに、Pentahoのハンズオントレーニングメニュー（有償）も用意しています。
ステップ
業務への本格展開はいきなりは難しいと思います。まずはPoCを実施するなど小さく始めることをお勧めします。
PoC案の検討などもお手伝い(有償)します。
ステップ
本格導入に向けてはPentaho使用者へのトレーニングが必要になることが多いですが、Pentahoではハンズオントレーニングメニュー（有償）を用意しています。
大量データの分析に悩んでいる方にとって、Pentahoは強力な解決策となります。大量データでも効率的に処理し、時間を節約しながら高品質なデータ処理ができます。データレイクやDWHへの投資を最大限に活用するために、Pentahoをぜひ活用してみてください。
Pentahoを導入することで、データ処理の新たな可能性が広がります。大量データの処理に困っている方は、ぜひ一度お試しください。
