Google BigQuery

Google BigQueryについて

Google BigQueryはクラウドコンピューティングプラットフォームのGoogle Cloud Platform上で提供されているサービスの1つで、TB （テラバイト）から数百 PB （ペタバイト）のビッグデータを高速で処理できるデータウェアハウス（DWH）です。

もともとはDremel（ドレメル）というGoogleが社内用として開発したクエリ実行サービスでしたが2012年にBigQueryとしてリリースされました。

google bigqueryには多種多様なデータを格納できるだけでなく、SNSログ情報など膨大なデータの解析やデータのリアルタイム分析なども行えます。様々なAPIとも連携可能、100億行以上の膨大な数のマッチ付き正規表現集計を数十秒で終わらせることができるので、ログ解析、リアルタイム分析などに欠くことのできないツールです。

サーバレス、スケーラビリティと費用対効果の高いクラウドデータウェアハウスであることから利用する企業が増えています。

Google BigQueryが企業で使われるシーン

Google BigQueryで分析処理高速化を実現

これまでRDB（リレーショナルデータベース）と全文検索エンジンで行っていたデータ分析をgoogle bigqueryを利用した分析基盤を構築して分析することで、分析処理の高速化、自動化が実現できます。直観的に操作できるので新人やエンジニアでなくても分析が可能となります。

格納できるデータ量が増える

オンプレミスサーバで利用していたデータをBigQueryに移行することで、格納できるデータ量が格段に増えます。処理できる分析レポート数が増えることからデータの分析精度が上がり、有効なデータ活用が可能となります。

担当者・管理者不要で運用できる

クラウドで提供されるBigQueryはフルマネージドのサーバレスデータウェアハウスです。従来のオンプレミスのデータベースではオペレーション担当者や管理者が必要でしたが、担当者や管理者不要で運用することができます。

ETLツールとの連携で期待できること

データの多様化、情報量の増加などから企業でのデータ活用の重要性はますます高まっています。Google BigQueryとETLツールを連携させて保有する膨大なデータを一元的に集約して高速データ処理できるようになることで、さらなるデータ活用が可能となります。

開発時間が短縮できる

ETLツールは専門的な技術をもつエンジニアでなくてもノーコードで直観的な設計・開発ができるので、Google BigQueryと連携するシステム構築工数も大幅に短縮されます。

定型作業を自動化して業務効率化

BigQueryのデータから複数システムへのデータ入力・更新など現場における定型作業がETLツール導入で自動化できるようになるため作業コストが削減されるだけでなくヒューマンエラーも減ることから業務の効率化が期待できます。

SFTPなら重要な社内機密データもセキュアに転送可能

ETLツールはBigQueryだけでなく、様々なシステム、SNSなどとの豊富な接続アダプターを提供しているので簡単に連携が可能、導入後すぐに業務自動化が実現できます。

転送形式としてSSH（セキュアシェル）を介して様々なファイル形式を転送できるSFTPがサポートされているツールなら、転送中のファイルが暗号化されるので重要な社内機密データが漏洩したり、ハッキングされたりする心配もありません。

ETLツール導入でGoogle BigQueryの活用が広がった事例

メディア・ゲーム・インターネット広告事業を展開するサイバーエージェントでは社内エンジニアが売上データ収集システムを構築して利用していました。

しかし、サービス追加やフォーマット変更のたびに開発が必要で、Google Big Queryをはじめ様々なサービスと連携させているので個別データ管理の必要もあり、システム管理が属人化。担当の引継ぎが難しいという課題をかかえていました。

ETLツールを導入して多様なシステムから売上データを収集して統合することでエンジニアの負荷が軽減、処理の可視化で作業を標準化でき、分析環境が構築できたことでリモートワークでも分析が可能となりました。

Google Big Queryへの移行によりAIでデータ活用が可能に

ファッションショッピングサイトZOZOTOWNなどを運営するZOZOのシステム担当部署（旧ZOZOテクノロジーズ開発部）ではこれまでデータの格納に利用していたオンプレミス環境のデータウェアハウスをGoogle Big Queryに変え、ユーザー情報、注文情報やアクセスログなどを移行。

Google Big QueryとETLツールを連携させてAIでデータを活用できるようにし、ユーザーがスマホやPCなどの端末から画像検索ができるようになりました。

どのようなETLツールを導入すべきか

企業がはじめてETLツールを導入する際は、自社にマッチした性能であることはもちろん、サポート体制にも着目して選ぶようにしましょう。こちらではGoogle Big Queryに対応したETLツールを紹介しています。