100 Talk

HubSpotの有効的な使い方や、マーケティングや営業、
HubSpotパートナービジネスなどをブログで情報発信しています

データ連携Tips|Google BigQuery へのHubSpot データの反復同期を設定

この記事では、CData Software社のデータパイプリアンツール「CData Sync」をつかって、HubSpot データのGoogle BigQuery への同期をノーコードで設定するTipsを紹介します。

「CData Sync」は、HubSpot data データを簡単にGoogle BigQuery インスタンスに同期し、データを単一のデータベース・データウェアハウス(DWH)に保管、バックアップや分析・帳票・機械学習・AI での利用を実現します。

sync-bigquery-0

Google BigQuery をデータレプリケーションの同期先に設定

CData Sync を使って、HubSpot data をGoogle BigQuery にレプリケーションします。[接続]タブからデータの同期先を設定します。

  1. [同期先]タブをクリックします。
  2. Google BigQuery を同期先として選択します。

    sync-bigquery-1
  3. 必要な接続プロパティを入力します。Google BigQuery への接続には、OAuth 認証を使用します:

    User Account での認証

    このOAuth フローでは、ユーザーアカウントクレデンシャルを入力する必要がありません。

    1. [接続のテスト]をクリックするとCData Sync がGoogle BigQuery へのOAuth エンドポイントを開きます。
    2. ログインしてCData Sync にアクセスを許可します。
    3. CData Sync は、OAuth プロセスを完了します。

     

    Service Account として認証する

    Service accounts では、ブラウザでのユーザーによる承認なしで認証が可能です。Service Accounts にEnterprise-wide の権限をCData Sync に許可することも可能です。

    この場合には、OAuth アプリケーションを作成する必要があります。はじめにのセクションにOAuth アプリケーションを作成・認証する方法が説明されています。

    これらの接続プロパティを入力して接続します:

    • OAuthClientId: アプリケーションで設定したClient。
    • OAuthClientSecret: アプリケーションのClient Secret。
    • OAuthJWTCertType: "PEMKEY_FILE" 設定。
    • OAuthJWTCert: 生成した.pem ファイル。
    • OAuthJWTCertPassword:.pem ファイルのパスワード。
    • OAuthJWTCertSubject: 証明書ストアの最初の証明書を選択するには"*" を選択します。
    • OAuthJWTSubject: 権限アクセスを委譲するemail アドレス。アクセス以上は管理者による承認が必要です。
    • DatasetId: 接続するデータセットのID。
    • ProjectId: 接続するプロジェクトのID。
    接続すると、CData Sync がService Account へのOAuth フローを完了します。

     

  4. [テスト接続]をクリックして接続を確認します。

    sync-bigquery-2
  5. [変更を保存]をクリックします。

HubSpot をデータソースに設定。

[接続]タブからHubSpot をデータソースとして設定します。

  1. HubSpot アイコンをデータソースから選択します。
  2. 接続プロパティを設定します。

    HubSpot はOAuth 認証標準を使用します。組み込みのOAuthClientId、OAuthClientSecret、CallbackURL を使用することも、自分でアプリを登録して使用することも可能です。

    詳細はヘルプドキュメントの「はじめに」を参照してください。

    sync-destination-3
  3. [テスト接続]をクリックして、接続を確認します。
  4. [変更を保存]をクリックして、接続を確立します。

レプリケーションジョブを設定

CData Sync でPoint-and-Click インタフェース(とカスタム設定に必要な場合はSQL クエリ)でレプリケーションジョブが設定できます。 [ジョブ]タブから進んで、[ジョブ追加]ボタンをクリックします。新規ジョブ作成画面でソースと同期先DB をそれぞれドロップダウンから選択します。

sync-destination-4

テーブルをそのまま同期

テーブル全体をそのまま同期する場合、テーブルセクションから[テーブルを追加]ボタンをクリックして、同期するテーブルにチェックを入れて選択します。[選択したテーブルを追加]をクリックすると選択したテーブルがジョブに追加されます。

sync-destination-5

同期するデータをカスタマイズ

レプリケーションを行う際にカスタマイズを行うこともできます。カスタム変換機能では、同期するカラムの指定、同期先でのカラムの名前の変更、カラムマッピング、SQL 関数を使ったデータの加工が可能です。[カスタムクエリを追加]ボタン、もしくはすでに作成したテーブルをクリックするとレプリケーションの詳細設定が可能です。

sync-destination-6

レプリケーションのスケジュール起動

ジョブの[スケジュール]セクションでは、ジョブをスケジュールで自動起動する設定が可能です。ジョブの実行間隔を15分間隔から月次のまでの間から設定可能です。

sync-destination-7

これらのジョブ設定をおこない、[変更を保存]を押して内容を保存します。マニュアルでジョブを起動する場合は、テーブルにチェックを入れて主導で[▶実行]ボタンを押して同期を実行します。これで簡単にHubSpot data からBigQuery へのデータ同期ができました。


以上です。

このデータ連携に興味ある方は、「本件に関するお問い合わせ」よりご相談ください。

本件に関するお問い合わせ

Kanjiro Sato

1995年、ネット黎明期のコミュニティに魅せられニフティ社に入社。コミュニティサービスの企画・運営を経験。SNSマーケティングの株式会社コムニコに経営参画後、グループの(株)24−7に合流。採用・PRのほか、札幌でのBPOのほか、2017 APAC Partner of the Year受賞にも尽力。その後、人材エージェントの株式会社ハウズワーク設立を経験し、現在はフリーとして、株式会社100(ハンドレッド)のHR・PR、組織づくり他できることなんでも担当。臆病な豆柴と10歳娘との関係づくりに奮闘中。