Databricks コネクタ構成ガイド

このコネクタは、左側のナビゲーションで Connectors をクリックすることで利用可能な新しいコネクタインターフェースを使用してのみ利用可能です。

アクション

動作原理

Databricks コネクタは、2つの接続セットを必要とします：

• Tealium から互換性のあるクラウド保存ソリューション（AWS S3、Azure Blob Storage、または Google Cloud Storage）への接続。
• Databricks からその同じクラウド保存ソリューションへの接続。

Tealium からクラウド保存への接続

Tealium は、Databricks Unity Catalog Volume、AWS S3、Azure Blob Storage、または Google Cloud Storage インスタンスへの接続を必要とし、バケットをリストアップし、イベントおよびオーディエンスデータをクラウド保存のオブジェクトおよびファイルにアップロードします。Databricks コネクタの認証には以下のオプションがあります：

• Databricks Unity Catalog
  • クライアントIDとクライアントシークレット（OAuth）を提供。
• AWS S3
  • アクセスキーとアクセスシークレットを提供。
  • STS（セキュリティトークンサービス）の認証情報を提供。
• Azure Blob Storage
  • クライアント認証情報。
  • 認証コードフロー（SSO）。
  • 共有アクセス署名（SAS）。
• Google Cloud Storage
  • Google でサインイン（SSO）。

Databricks Unity Catalog 構成

クライアントIDとシークレット認証情報

Databricks アカウントの新しいOAuth認証情報を生成するには：

1. Databricks インスタンスにログインします。
2. ワークスペースに移動します。
3. 画面の右上隅にある 構成 > アイデンティティとアクセス > サービスプリンシパル に移動します。
4. 新しいサービスプリンシパルを作成するか、既存のものをクリックします。
5. シークレット タブをクリックし、シークレット生成 をクリックします。
6. 権限 タブをクリックし、サービスプリンシパルが サービスプリンシパル：ユーザー の役割に割り当てられていることを確認します。

AWS S3 構成

アクセスキーとシークレット認証情報

AWS アクセスキーとシークレットを見つけるには：

1. AWS 管理コンソールにログインし、IAM（アイデンティティとアクセス管理）サービスに移動します。
2. ユーザー をクリックし、次に ユーザー追加 をクリックします。
3. ユーザー名を入力します。例えば、TealiumS3User。
4. 作成したばかりのユーザーにポリシーを添付します。
   1. 権限 タブで 既存のポリシーを直接アタッチ をクリックします。
   2. AmazonS3FullAccess ポリシーを検索してアタッチします。これにより完全なアクセスが可能になります。特定のバケットへのアクセスを制限したい場合は、以下の例のようにポリシーを記述することができます。この例では、YOUR_BUCKET_NAME が Tealium がイベントおよびオーディエンスデータを S3 オブジェクトにアップロードするために使用するバケットです。

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "s3:ListBucket",
                      "s3:PutObject",
                      "s3:GetObject",
                      "s3:ListBucketMultipartUploads",
                      "s3:ListMultipartUploadParts"
                  ],
                  "Resource": [
                      "arn:aws:s3:::YOUR_BUCKET_NAME",
                      "arn:aws:s3:::YOUR_BUCKET_NAME/*"
                  ]
              }
          ]
      }
      

5. キーを作成します。
   1. セキュリティ認証情報 タブに移動し、アクセスキーの作成 をクリックします。
   2. アクセスキーID と シークレットアクセスキー をコピーして安全に保存します。

STS認証情報構成

1. AWS 管理コンソールにログインし、IAM（アイデンティティとアクセス管理）サービスに移動します。
2. ロール をクリックし、次に ロール作成 をクリックします。
3. 信頼されたエンティティのタイプ で、AWS アカウントを選択します。
4. 別のAWSアカウント を選択し、Tealium アカウントID 757913464184 を指定します。
5. （オプション）外部IDが必要 チェックボックスをオンにし、使用したい外部IDを指定します。外部IDは最大256文字で、英数字（A-Z, a-z, 0-9）およびハイフン（-）、アンダースコア（_）、ピリオド（.）などの記号を含むことができます。
6. ロールに名前を付けます。ロール名は tealium-databricks で始まる必要があります。例えば、tealium-databricks-s3-test。
7. ロールにポリシーを添付します。
   1. 権限 タブで 既存のポリシーを直接アタッチ をクリックします。
   2. AmazonS3FullAccess ポリシーを検索してアタッチします。これにより完全なアクセスが可能になります。特定のバケットへのアクセスを制限したい場合は、以下の例のようにポリシーを記述することができます。この例では、YOUR_BUCKET_NAME が Tealium がイベントおよびオーディエンスデータを S3 オブジェクトにアップロードするために使用するバケットです。

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "s3:ListBucket",
                      "s3:PutObject",
                      "s3:GetObject",
                      "s3:ListBucketMultipartUploads",
                      "s3:ListMultipartUploadParts"
                  ],
                  "Resource": [
                      "arn:aws:s3:::YOUR_BUCKET_NAME",
                      "arn:aws:s3:::YOUR_BUCKET_NAME/*"
                  ]
              }
          ]
      }
      

8. 信頼ポリシーを作成します。
   1. 信頼関係 タブに移動し、信頼関係の編集 をクリックします。
   2. 信頼ポリシーが作成したロールに特定の外部IDを許可し、Tealiumの本番アカウントIDが 757913464184 であることを確認します。
   3. Tealium への接続のための EXTERNAL_ID 値を構成します。IDは最大256文字で、英数字（A-Z, a-z, 0-9）およびハイフン（-）、アンダースコア（_）、ピリオド（.）などの記号を含むことができます。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::757913464184:root"
            },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                    "sts:ExternalId": "EXTERNAL_ID"
                }
            }
        }
    ]
}

クライアント認証情報

AzureでアプリケーションのテナントID、クライアントID、クライアントシークレットを取得するには、以下の手順を使用します：

ステップ1: Azureポータルにアクセス

1. Azureポータルに移動します。
2. Azureアカウントでサインインします。

ステップ2: アプリ登録に移動

1. 上部の検索バーに「Azure Active Directory」と入力して選択します。
2. 左側のメニューでアプリ登録をクリックします。
3. 登録済みのアプリケーションを見つけます。

ステップ3: テナントIDとクライアントIDを見つける

1. アプリケーションをクリックします。
2. 概要セクションで、以下の情報を探します：
   • テナントID（ディレクトリIDとも呼ばれます）はテナントIDの下にリストされています。
   • クライアントID（アプリケーションIDとも呼ばれます）はアプリケーション（クライアント）IDとして表示されます。

ステップ4: クライアントシークレットを生成

1. 左側のメニューで証明書とシークレットに移動します。
2. クライアントシークレットの下で新しいクライアントシークレットをクリックします。
3. 説明を入力し、有効期限を選択します。
4. 追加をクリックします。
5. 生成されたら、ページを離れると再表示できなくなるため、すぐにクライアントシークレットをコピーします。

共有アクセス署名（SAS）

Azureで共有アクセス署名（SAS）トークンを生成するには、以下の手順を使用します：

ステップ1: Azureポータルにアクセス

1. Azureポータルに移動します。
2. Azureアカウントでサインインします。

ステップ2: 保存アカウントに移動

1. 検索バーに「Storage accounts」と入力して選択します。
2. SASトークンを生成したい保存アカウントを選択します。

ステップ3: SASトークンを生成

オプション1: Azureポータルを使用

1. 保存アカウントで、セキュリティ + ネットワーキングセクションの下にある共有アクセス署名に移動します。
2. 必要な権限（読み取り、書き込み、削除、リストなど）を構成します。
3. トークンの有効期限を構成して、トークンが有効である期間を定義します。
4. 許可されるサービス（Blob、File、Queue、Table）を選択します。
5. SASと接続文字列を生成をクリックします。
6. SASトークンまたは接続文字列（SASトークンを含む）をコピーします。

オプション2: Azure Storage Explorerを使用

1. Azure Storage Explorerを開いて、Azureアカウントにサインインします。
2. 保存アカウントを見つけて、Blob ContainerまたはFile Shareを右クリックします。
3. 共有アクセス署名の取得を選択します。
4. 権限と有効期限の構成を行います。
5. 作成をクリックして生成されたSAS URLまたはトークンをコピーします。

オプション3: Azure CLIを使用

1. SASトークンを生成するために、Azure CLIで次のコマンドを実行します：

    az storage blob generate-sas \
        --account-name <your-storage-account> \
        --container-name <your-container> \
        --name <your-blob> \
        --permissions r \
        --expiry 2026-04-25T12:00:00Z \
        --output tsv

これにより、制御されたアクセスを提供するために保存URLに追加できるSASトークンが出力されます。

認証コードフロー（SSO）

接続を確立をクリックすると、認証コードフローとして知られる安全な認証プロセスが開始されます。これにより、資格情報を手動で入力することなく、アプリケーションがAzure Blob Storageにアクセスできるようになり、シームレスで安全な体験が保証されます。

次のように表示されます：

1. サインインにリダイレクト：一時的に組織のIdentity Provider（IdP）、例えばAzure Active Directoryにリダイレクトされ、既存の資格情報を使用してログインします。
2. 同意の付与：認証後、Tealiumのアプリがリクエストしている権限—具体的にはBlob Storageへのアクセス—を説明する同意画面が表示されます。
3. Blob Storageへの安全なアクセス：Tealiumのアプリケーションは、Azureのセキュリティポリシーを維持しながら保存とのやり取りを行う権限を持っています。

Google Cloud Storageの構成

Googleでサインイン

Googleでサインインをクリックすると、アプリケーションがGoogle Cloud Storageにアクセスできるようにする安全な認証プロセスが開始されます。このプロセスは、シームレスな体験を保証しながら、データのセキュリティと制御を維持します。

次のように表示されます：

1. Googleサインインにリダイレクト：一時的にGoogleの認証ページにリダイレクトされ、Googleアカウントの資格情報を使用してログインします。
2. 同意の付与：サインイン後、Tealiumのアプリがリクエストしている権限—例えばCloud Storageへのアクセス—を詳細に説明する同意画面が表示されます。
3. 認証コードの受け取り：承認後、Googleは一度限りの認証コードを生成してアプリケーションに送り返します。
4. Cloud Storageへの安全なアクセス：Tealiumのアプリケーションは、Googleのセキュリティポリシーを遵守しながら保存とのやり取りを行う権限を持っています。

DatabricksからAWS S3への接続

DatabricksをAWS S3インスタンスに接続するには、まずAWSインスタンスで使用するためのIAMロールを作成し、その後Databricksインスタンスで保存認証情報を作成する必要があります。AWS IAMロールの作成についての詳細は、Databricks: AWS S3に接続するための保存認証情報を作成するを参照してください。

保存認証情報が作成された後、AWS S3インスタンスでデータを取得する外部ロケーションを定義します。詳細については、Databricks: クラウド保存をDatabricksに接続するための外部ロケーションを作成するを参照してください。

DatabricksからAzure Blob Storageへの接続

DatabricksをAzure Blob Storageインスタンスに接続するには、Azureサービスプリンシパルまたは管理されたIDを使用して保存認証情報を作成する必要があります。これにより、DatabricksはBlob Storageに安全に認証してアクセスできます。詳細については、Databricks: Azure Blob Storageに接続するための保存認証情報を作成するを参照してください。

保存認証情報が構成された後、Databricksがデータの読み書きに使用するAzure Blob Storageの外部ロケーションを定義します。詳細については、Databricks: クラウド保存をDatabricksに接続するための外部ロケーションを作成するを参照してください。

DatabricksからGoogle Cloud Storageへの接続

Google Cloud StorageをDatabricksと統合するには、まずGoogle Cloudで必要な権限を持つサービスアカウントを構成し、その後Databricksでこのサービスアカウントを使用する保存認証情報を作成します。詳細については、Databricks: Google Cloud Storageに接続するための保存認証情報を作成するを参照してください。

保存認証情報を構成した後、Databricksがデータとやり取りするために必要なバケットと権限を指定するGoogle Cloud Storageの外部ロケーションを定義する必要があります。詳細については、Databricks: クラウド保存をDatabricksに接続するための外部ロケーションを作成するを参照してください。

バッチ制限

このコネクタは、ベンダーへの大量データ転送をサポートするためにバッチリクエストを使用します。詳細については、バッチアクションを参照してください。リクエストは、次のいずれかのしきい値が満たされるか、プロファイルが公開されるまでキューに入れられます：

• 最大リクエスト数：100,000
• 最古のリクエストからの最大時間：1分から60分の間でカスタムTTLを構成できます。デフォルト値は10分です。
• リクエストの最大サイズ：10 MB

構成

コネクターマーケットプレイスにアクセスし、新しいコネクターを追加してください。コネクターを追加する一般的な手順については、コネクターについてを参照してください。

コネクターを追加した後、以下の構成を行ってください：

• クラウドソリューション：使用しているクラウドソリューションを選択してください。利用可能なオプションは、Databricks Unity Catalog Volume、AWS S3、Azure Blob Storage、Google Cloud Storageです。
• DatabricksホストURL：DatabricksアカウントのURLを提供してください。例：https://{ACCOUNT_NAME}.cloud.databricks.com。
• Databricksトークン：Databricksアクセストークンを提供してください。このパラメーターは、データをDatabricks Unity Catalog Volumeに送信する場合はオプションです。Databricksでアクセストークンを作成するには、Databricksでユーザーアバターをクリックし、構成 > 開発者 > アクセストークン > 管理 > 新しいトークンを生成に進んでください。

認証構成は使用するクラウドソリューションによって異なります：

Databricks Unity Catalog Volume

分あたり1000イベント以上を期待する場合は、バッチアクションを使用してください。

• 認証タイプ：Databricks OAuth認証タイプを選択してください。
• クライアントID：サービスプリンシパルシークレットに割り当てられた一意の識別子。
• シークレット：アプリケーションがサービスプリンシパルとしてDatabricksで認証するために使用するパスワードのような文字列。
• JDBC HTTPパス：コンピュートリソースへのHTTPパス。例：/sql/1.0/warehouses/3fbc78304284503a。

Amazon AWS S3

• リージョン：（必須）リージョンを選択してください。
• 認証タイプ：（必須）プラットフォームの認証タイプを選択してください：
  • STS（セキュリティトークンサービス）認証情報を提供してください。
    • STS - Assume Role: ARN：STS認証に必要です。アサインする役割のAmazonリソースネーム（ARN）を提供してください。例：arn:aws:iam:222222222222:role/myrole。詳細については、AWS Identity and Access Management: Switch to an IAM role (AWS API)を参照してください。
    • STS - Assume Role: Session Name：STS認証に必要です。アサインする役割のセッション名を提供してください。最小長2、最大長64。
    • STS - Assume Role: External ID：STS認証に必要です。第三者の外部識別子を提供してください。詳細については、AWS Identity and Access Management: Access to AWS accounts owned by third partiesを参照してください。
  • アクセスキーとアクセスシークレットを提供してください。
    • Access Key - AWS Access Key：アクセスキー認証に必要です。AWSアクセスキーを提供してください。
    • Access Key - AWS Secret Access Key：アクセスキー認証に必要です。AWSシークレットアクセスキーを提供してください。

Google Cloud Storage

1. Googleでサインインをクリックし、画面の指示に従ってください。
2. プロジェクトIDを選択してください。

Azure Blob Storage

• 認証タイプ：認証タイプを選択してください。利用可能なオプションは、クライアント認証情報、認証コードフロー（SSO）、共有アクセス署名（SAS）です。
  • クライアント認証情報を提供してください。
    • テナントID：組織を表すAzure Active Directoryインスタンスの一意の識別子。
    • クライアントID：Azure Active Directoryに登録されたアプリケーションに割り当てられた一意の識別子。
    • クライアントシークレット：アプリケーションがAzure Active Directoryで認証するために使用するパスワードのような文字列。
    • 保存アカウント名：Blob、File、Queue、Table保存などの保存サービスにアクセスするために使用されるAzure保存アカウントの一意の名前。
  • 認証コードフロー（SSO）を提供してください。 * 保存アカウント名：Azure保存アカウントの一意の名前。接続を確立をクリックし、画面の指示に従ってください。
  • 共有アクセス署名（SAS）を提供してください。
    • 共有アクセス署名：Azure保存アカウントの共有アクセス署名。
    • 保存アカウント名：Azure保存アカウントの一意の名前。
• APIバージョン：Azure保存インスタンスと互換性のあるAPIバージョン。

ノートブックの作成

Databricksのノートブックは、実行可能なコード、ビジュアライゼーション、およびナラティブテキストを含むドキュメントです。データの探索、可視化、およびコラボレーションに使用されます。コネクター構成では、新しいコネクターを作成する際にノートブックを作成をクリックすることで新しいノートブックを作成するオプションがあります。

1. コネクター構成画面でノートブックを作成をクリックします。
2. テーブル名を入力してください。スキーマはジョブ作成時に指定されるため、このフィールドに追加しないでください。
   • 名前には英数字（A-Z, a-z, 0-9）とアンダースコア（_）を含めることができます。
   • スペースや特殊文字（!, @, #, -, .）は使用できません。
   • 名前は大文字と小文字が区別されます。たとえば、tableNameとtablenameは異なる名前とみなされます。
   • 名前は数字で始めることはできません。たとえば、1tableは無効です。
3. ノートブックパスには、ノートブックの絶対パスを入力してください。例：/Users/user@example.com/project/NOTEBOOK_NAME。
   1. Databricksでノートブックの絶対パスを確認するには、Databricksワークスペースにアクセスし、ユーザーセクションを展開します。
   2. ユーザーをクリックし、オプションメニューを展開します。
   3. URL/パスをコピー > フルパスをクリックします。パス名は次の形式になります：/Workspace/Users/myemail@company.com。仮想フォルダーとノートブック名をスラッシュ/で区切って追加します。例：/Workspace/Users/myemail@company.com/virtualfolder/virtualsubfolder/MyNotebook。
4. クラウドバケット/ボリューム：
   1. クラウドバケットには、データの保存先として接続するGoogle Cloud Platform (GCP)、Azure Blob Storage、またはAWS S3の保存バケットを選択してください。
   2. Databricks OAuth認証タイプを使用している場合は、Databricks Unity Catalog Volumeを指定してください。
5. 上書きオプションは、指定されたワークスペースに既にノートブックが存在する場合にそれを上書きするかどうかを示します。

ジョブの作成

Databricksのジョブは、スケジュールに基づいてノートブックを自動実行するか、特定のトリガーに基づいて実行します。ジョブを使用すると、定期的にまたは特定のイベントにトリガーされたデータ処理、分析、レポーティングなどのタスクを実行できます。

1. コネクタ構成画面で、ジョブの作成をクリックします。
2. 処理ジョブの名前を入力します。
3. カタログについて、Unityカタログからパブリッシングパイプラインデータの送信先として使用するカタログを指定します。
4. ターゲットについて、上記カタログ内でテーブルを公開/更新するスキーマを指定します。ここではターゲットテーブルを指定しないでください。使用されるテーブルはノートブックで指定されたものです。
5. ノートブックパスについて、ノートブックの絶対パスを入力します。例：/Users/user@example.com/project/NOTEBOOK_NAME。
   1. Databricksでノートブックの絶対パスを見つけるには、Databricksワークスペースに移動し、ユーザーセクションを展開します。
   2. ユーザーをクリックし、オプションメニューを展開します。
   3. URL/パスのコピー > フルパスをクリックします。パス名は次の形式になります：/Workspace/Users/myemail@company.com。仮想フォルダーとノートブック名をスラッシュ/で区切って追加します。例：/Workspace/Users/myemail@company.com/virtualfolder/virtualsubfolder/MyNotebook。
6. クラウドバケットまたはボリュームについて、Databricksに接続するクラウド保存バケットまたはDatabricks Unity Catalogボリュームを選択します。
7. トリガータイプについて、データを処理するタイミングを選択します。利用可能なオプションは以下の通りです：
   • ファイル到着時：新しいファイルが到着するたびにデータを処理します。
   • スケジュール：指定した繰り返しスケジュールでデータを処理します。
   • クロン：クロンフィールドで定義した繰り返しスケジュールでデータを処理します。
8. 開始時間について、ジョブ処理の開始時間をhh:mm形式で指定します。開始時間のデフォルト値は00:00です。
9. タイムゾーンについて、country/city形式でタイムゾーンを指定します。例：Europe/London。開始時間を提供する場合、このフィールドは必須です。
10. クロンについて、スケジュール処理に使用するクォーツクロン式を入力します。例えば20 30 * * * ?は、毎時、毎日、週の各日、年の30分20秒にファイルを処理します。詳細については、Quartz: Cron Trigger Tutorialを参照してください。

ジョブとノートブックの作成

ノートブックとジョブを同時に作成するには、ノートブックとジョブの作成をクリックします。ノートブックの作成およびジョブの作成のセクションの手順を使用します。

アクション

次のセクションでは、各アクションのサポートされるパラメータをリストします。

全イベントデータの送信

パラメータ

カスタムイベントデータの送信

パラメータ

全訪問データの送信

パラメータ

カスタム訪問データの送信

パラメータ

全イベントデータの送信（バッチ）

バッチ制限

このアクションは、ベンダーへの大量データ転送をサポートするためにバッチリクエストを使用します。リクエストは、次のいずれかのしきい値が満たされるまでキューに入れられます：

• 最大リクエスト数：100,000
• 最古のリクエストからの最大時間：60分
• リクエストの最大サイズ：10 MB

パラメータ

カスタムイベントデータの送信（バッチ）

バッチ制限

このアクションは、ベンダーへの大量データ転送をサポートするためにバッチリクエストを使用します。リクエストは、次のいずれかのしきい値が満たされるまでキューに入れられます：

• 最大リクエスト数：100,000
• 最古のリクエストからの最大時間：60分
• リクエストの最大サイズ：10 MB

パラメータ

全訪問データの送信（バッチ）

バッチ制限

このアクションは、ベンダーへの大量データ転送をサポートするためにバッチリクエストを使用します。以下のいずれかの閾値に達するまでリクエストがキューに入れられます：

• 最大リクエスト数：100,000
• 最古のリクエストからの最大時間：60分
• リクエストの最大サイズ：10 MB

パラメータ

カスタム訪問データの送信（バッチ）

バッチ制限

このアクションは、ベンダーへの大量データ転送をサポートするためにバッチリクエストを使用します。以下のいずれかの閾値に達するまでリクエストがキューに入れられます：

• 最大リクエスト数：100,000
• 最古のリクエストからの最大時間：60分
• リクエストの最大サイズ：10 MB

パラメータ