AI時代のデータ基盤構築・活用の新トレンド（1）
BigQueryとCodatumで実現するデータマートレスのBI環境

NRIデジタルでは多くのお客さまのデータ基盤の構築やデータ活用を支援してきました。本稿では、データ基盤を実際に運用する中で直面する課題と解決策、および近年のAI技術の進展がもたらす変化について、複数回にわたって解説します。

第1回は、長期にわたるデータ基盤の運用における課題と、解決策の1つとして、新世代のデータ分析ツール「Codatum」を紹介します。

これまで、現場でのデータ活用を促進するためにダッシュボードを整備してもあまり使われないにもかかわらず、データ基盤内の構造が複雑となり、維持保守の効率が悪くなるという課題がありました。一方、私達がアドホックなデータ分析をする際には、複雑な分析クエリを書くことで、データマートなしでも高度な分析をしています。

BigQueryとCodatumを利用することで、これまでの「ダッシュボード」と「アドホックなデータ分析」の長所を組み合わせて、データ基盤内の構造を複雑化することなく、高度なデータ活用を実現できます。

ダッシュボードの開発はデータ基盤の維持保守の負担となる

データ分析の専門家でない事業部門のユーザがデータを活用するためには、BIツールでダッシュボードを構築します。ダッシュボードをストレスなく高速に表示させるためには、ダッシュボードごとに「データマート」とよばれる集計済みデータを予め用意する必要があります。

一般的なデータ分析基盤は、データレイク（元データ）／データウェアハウス（構造化データ）／データマート（用途別データ）という階層構造を取っています。システムの構成図では1つの大きなコンポーネントとしてデータ基盤が描かれることが多いものの、実際には多数のテーブルと変換処理から構成されています。このため、ダッシュボードを構築するごとに「変換処理」と「データマート」内のテーブルが増加することになります（図1）。

一方で、実際にダッシュボードの利用状況を分析してみると、頻繁に利用される画面はごく一部であり、多くの画面はほとんど利用されません。それにもかかわらず、データ基盤内部のテーブルや変換処理は増加し、改修を加える際の影響調査や修正規模が大きくなり、維持保守の効率が悪くなります。

また、ダッシュボードにはビジネス面でも課題があります。ダッシュボードで参照できるデータは事前に想定された切り口だけであり、新しい切り口でのデータ分析や、突発的に発生した課題の分析には対応できません。このため、ダッシュボードを整備しても、明細データを活用した非定型なデータ分析が求められます。

加えて、報告の際にはダッシュボードの画像をPowerPointに貼り付け、分析結果の説明を追記したレポートの作成が求められることもあります。ダッシュボードを整備したとしても、社内コミュニケーションには従来通りのドキュメントが使われています。

アドホックなデータ分析にはデータマートは不要

私たちがアドホックにデータ分析を行う際にはデータマートを作ることはほとんどありません。分析の切り口は分析が進むごとに変化するため、あらかじめデータ構造を固定してしまうと、かえって分析の効率が悪化するためです。

GoogleのBigQueryを活用した分析では、データウェアハウスやデータマートに相当する「仮想のテーブル」を分析クエリ内に定義したうえで分析します（図2）。この方式では、物理的なテーブルとしては元データ＝データレイクのみがあればよく、変換処理などシステム開発が不要というメリットがあります。

ただし、物理的なテーブルが存在せず、分析クエリ内の定義に依存するため、分析クエリのバージョン管理や、複数人で分析する際の情報共有が煩雑になるというデメリットもあります。集計の都度、元データから再集計するため集計にやや時間がかかります。

新世代のデータ分析ツール「Codatum」

このような課題を解決するのが、今回紹介する新世代のデータ分析ツール「Codatum」です。Codatumを一言で表現するならば「BigQueryに接続できるNotionのようなデータ分析ツール」です。

図3はCodatumで作成したノートブックです。従来のダッシュボードとは異なり、文章とグラフが共存した「記事」のように見えますが、ノートの中のグラフはBigQueryのデータを集計したものです。

Codatumには次のような特徴があります。

それぞれについて、実際の画面もお見せしながら解説します。

ダッシュボードのグラフをキャプチャーしてPowerPointに貼り付け、コメントを追記するといった作業が不要になります。

ノート右上の「Run All」ボタンをクリックするだけで、データを最新化できます。
定期的な報告が1クリックで完了するほか、いつでも最新のデータを確認できるようになります。

共有リンクを発行して、最新のノートをそのまま共有することができます。共有の際にはきめ細かく権限や操作を制御することができます。

このリンクから実際のレポートを参照することができます。

最新版の管理が容易になるだけでなく、分析テーマごとにノートを作成することで、クエリ作成の意図や分析の流れ、分析結果に対する示唆なども記録でき、分析チーム内でのナレッジ共有にも活用できます。

この記事では紹介しきれませんが、ほかにも便利な機能が備わっているなど、現在も進化し続けています。
詳細はCodatumのドキュメントサイトをご参照ください。

Codatumがデータ分析とコミュニケーションを変える

これまでのデータ基盤の運用には、以下のような課題がありました。

Codatumを活用することで、アドホックな分析もダッシュボードも、データマートなしで構築することが可能になります。また、分析チーム内でのナレッジ共有も、事業部門へのレポート共有も、同一のツール内で完結させることができます。

Codatumの導入により以下のようなメリットがあります。

Codatumは、個人版（無償）から企業規模に応じた複数の有償プランまで、柔軟なライセンス体系が用意されています。NRIデジタルでは、導入支援から活用促進まで、お客さまのデータ活用高度化を総合的にサポートいたしますので、ぜひお問い合わせください。