Databricksコネクタ構成ガイド

このコネクタは、左側のナビゲーションでコネクタをクリックすることで利用可能な新しいコネクタインターフェースを使用してのみ利用可能です。

アクション

動作原理

Databricksコネクタは、2つの接続セットを必要とします：

• Tealiumから互換性のあるクラウド保存ソリューション（AWS S3、Azure Blob Storage、またはGoogle Cloud Storage）への接続。
• Databricksからその同じクラウド保存ソリューションへの接続。

Tealiumからクラウド保存への接続

Tealiumは、イベントデータとオーディエンスデータをクラウド保存のオブジェクトやファイルにアップロードするために、AWS S3、Azure Blob Storage、またはGoogle Cloud Storageインスタンスへの接続を必要とします。Databricksコネクタの認証には以下のオプションがあります：

• AWS S3
  • アクセスキーとアクセスシークレットを提供します。
  • STS（セキュリティトークンサービス）の認証情報を提供します。
• Azure Blob Storage
  • クライアント認証情報。
  • 認証コードフロー（SSO）。
  • 共有アクセス署名（SAS）。
• Google Cloud Storage
  • Googleでサインイン（SSO）。

AWS S3構成

アクセスキーとシークレット認証情報

AWSアクセスキーとシークレットを見つけるには：

1. AWS管理コンソールにログインし、IAM（Identity and Access Management）サービスに移動します。
2. ユーザーをクリックし、次にユーザーを追加をクリックします。
3. ユーザー名を入力します。例えば、TealiumS3User。
4. 作成したユーザーにポリシーをアタッチします。
   1. 権限タブで既存のポリシーを直接アタッチをクリックします。
   2. AmazonS3FullAccessポリシーを検索してアタッチします。これにより完全なアクセスが可能になります。特定のバケットへのアクセスを制限したい場合は、以下の例のようにポリシーを記述することができます。この例では、YOUR_BUCKET_NAMEはTealiumがS3オブジェクトにイベントデータとオーディエンスデータをアップロードするために使用するバケットです。

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "s3:ListBucket",
                      "s3:PutObject",
                      "s3:GetObject",
                      "s3:ListBucketMultipartUploads",
                      "s3:ListMultipartUploadParts"
                  ],
                  "Resource": [
                      "arn:aws:s3:::YOUR_BUCKET_NAME",
                      "arn:aws:s3:::YOUR_BUCKET_NAME/*"
                  ]
              }
          ]
      }
      

5. キーを作成します。
   1. セキュリティ認証情報タブに移動し、アクセスキーの作成をクリックします。
   2. アクセスキーIDとシークレットアクセスキーをコピーして安全に保存します。

STS認証情報構成

1. AWS管理コンソールにログインし、IAM（Identity and Access Management）サービスに移動します。
2. ロールをクリックし、次にロールの作成をクリックします。
3. 信頼されたエンティティのタイプで、AWSアカウントを選択します。
4. 別のAWSアカウントを選択し、TealiumアカウントID：757913464184を指定します。
5. オプション。外部IDが必要チェックボックスをオンにし、使用したい外部IDを指定します。外部IDは256文字までの長さで、英数字（A-Z, a-z, 0-9）およびハイフン（-）、アンダースコア（_）、ピリオド（.）などの記号を含むことができます。
6. ロールに名前を付けます。ロール名はtealium-databricksで始まる必要があります。例えば、tealium-databricks-s3-test。
7. ロールにポリシーをアタッチします。
   1. 権限タブで既存のポリシーを直接アタッチをクリックします。
   2. AmazonS3FullAccessポリシーを検索してアタッチします。これにより完全なアクセスが可能になります。特定のバケットへのアクセスを制限したい場合は、以下の例のようにポリシーを記述することができます。この例では、YOUR_BUCKET_NAMEはTealiumがS3オブジェクトにイベントデータとオーディエンスデータをアップロードするために使用するバケットです。

      {
          "Version": "2012-10-17",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "s3:ListBucket",
                      "s3:PutObject",
                      "s3:GetObject",
                      "s3:ListBucketMultipartUploads",
                      "s3:ListMultipartUploadParts"
                  ],
                  "Resource": [
                      "arn:aws:s3:::YOUR_BUCKET_NAME",
                      "arn:aws:s3:::YOUR_BUCKET_NAME/*"
                  ]
              }
          ]
      }
      

8. 信頼ポリシーを作成します。
   1. 信頼関係タブに移動し、信頼関係の編集をクリックします。
   2. 信頼ポリシーが作成したロールに特定の外部IDを許可し、Tealiumの本番アカウントIDが757913464184であることを確認します。
   3. Tealiumへの接続のためのEXTERNAL_ID値を構成します。IDは256文字までの長さで、英数字（A-Z, a-z, 0-9）およびハイフン（-）、アンダースコア（_）、ピリオド（.）などの記号を含むことができます。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::757913464184:root"
            },
            "Action": "sts:AssumeRole",
            "Condition": {
                "StringEquals": {
                    "sts:ExternalId": "EXTERNAL_ID"
                }
            }
        }
    ]
}

Azure Blob Storage構成

クライアント認証情報

AzureでアプリケーションのテナントID、クライアントID、クライアントシークレットを取得するには、次の手順を使用します：

ステップ1: Azureポータルにアクセス

1. Azureポータルに行きます。
2. Azureアカウントでサインインします。

ステップ2: アプリ登録に移動

1. 上部の検索バーにAzure Active Directoryを入力して選択します。
2. 左メニューでアプリ登録をクリックします。
3. 登録済みのアプリケーションを探します。

ステップ3: テナントIDとクライアントIDを見つける

1. アプリケーションをクリックします。
2. 概要セクションで、以下の情報を探します：
   • テナントID（ディレクトリIDとも呼ばれます）はテナントIDの下にリストされています。
   • クライアントID（アプリケーションIDとも呼ばれます）はアプリケーション（クライアント）IDとして表示されます。

ステップ4: クライアントシークレットを生成

1. 左メニューで証明書とシークレットに移動します。
2. クライアントシークレットの下で新しいクライアントシークレットをクリックします。
3. 説明を入力し、有効期限を選択します。
4. 追加をクリックします。
5. 生成されたら、ページを離れる前にすぐにクライアントシークレットをコピーします。

共有アクセス署名（SAS）

Azureで共有アクセス署名（SAS）トークンを生成するには、以下の手順を使用します：

ステップ1：Azureポータルにアクセス

1. Azureポータルにアクセスします。
2. Azureアカウントでサインインします。

ステップ2：保存アカウントに移動

1. 検索バーに「Storage accounts」と入力して選択します。
2. SASトークンを生成したい保存アカウントを選択します。

ステップ3：SASトークンを生成

オプション1：Azureポータルを使用

1. 保存アカウントで、セキュリティ + ネットワーキングセクションの下にある共有アクセス署名に移動します。
2. 必要な権限（Read、Write、Delete、Listなど）を構成します。
3. トークンの有効期限を構成して、トークンが有効である期間を定義します。
4. 許可されるサービス（Blob、File、Queue、Table）を選択します。
5. Generate SAS and connection stringをクリックします。
6. SASトークンまたはSASトークンが含まれる接続文字列をコピーします。

オプション2：Azure Storage Explorerを使用

1. Azure Storage Explorerを開き、Azureアカウントでサインインします。
2. 保存アカウントを探して、Blob Containerまたはファイル共有を右クリックします。
3. Get Shared Access Signatureを選択します。
4. 権限と有効期限の構成を構成します。
5. Createをクリックして生成されたSAS URLまたはトークンをコピーします。

オプション3：Azure CLIを使用

1. Azure CLIで以下のコマンドを実行してSASトークンを生成します：

    az storage blob generate-sas \
        --account-name <your-storage-account> \
        --container-name <your-container> \
        --name <your-blob> \
        --permissions r \
        --expiry 2026-04-25T12:00:00Z \
        --output tsv

これにより、制御されたアクセスを提供するために保存URLに追加できるSASトークンが出力されます。

認証コードフロー（SSO）

Establish Connectionをクリックすると、Authorization Code Flowとして知られる安全な認証プロセスが開始されます。これにより、資格情報を手動で入力することなく、アプリケーションがAzure Blob Storageへのアクセスを得ることができます。これにより、シームレスで安全な体験が保証されます。

次のように表示されます：

1. サインインにリダイレクト： 一時的に組織のIdentity Provider（IdP）、例えばAzure Active Directoryにリダイレクトされ、既存の資格情報を使用してログインします。
2. 同意の付与： 認証後、Tealiumのアプリがリクエストしている権限—具体的にはBlob Storageへのアクセス—を説明する同意画面が表示されます。
3. Blob Storageへの安全なアクセス： Tealiumのアプリケーションは、Azureのセキュリティポリシーを維持しながら保存とのやり取りを行う権限を持っています。

Amazon AWS S3

• リージョン: 必須。リージョンを選択してください。
• 認証タイプ: 必須。プラットフォームの認証タイプを選択してください:
  • アクセスキーとアクセスシークレットを提供してください。
    • アクセスキー - AWSアクセスキー: アクセスキー認証に必要です。AWSアクセスキーを提供してください。
    • アクセスキー - AWSシークレットアクセスキー: アクセスキー認証に必要です。AWSシークレットアクセスキーを提供してください。
  • STS（セキュリティトークンサービス）の認証情報を提供してください。
    • STS - Assume Role: ARN: STS認証に必要です。引き受ける役割のAmazonリソースネーム（ARN）を提供してください。例: arn:aws:iam:222222222222:role/myrole。詳細については、AWS Identity and Access Management: Switch to an IAM role (AWS API)を参照してください。
    • STS - Assume Role: Session Name: STS認証に必要です。引き受ける役割のセッション名を提供してください。最小長2、最大長64。
    • STS - Assume Role: External ID: STS認証に必要です。第三者の外部識別子を提供してください。詳細については、AWS Identity and Access Management: Access to AWS accounts owned by third partiesを参照してください。

Azure Blob Storage

• テナントID: あなたの組織を代表するAzure Active Directoryインスタンスの一意の識別子。
• 認証タイプ: 認証タイプを選択してください。利用可能なオプションは、クライアント認証情報、認証コードフロー（SSO）、共有アクセス署名（SAS）です。
• クライアントID: Azure Active Directoryに登録されたアプリケーションに割り当てられた一意の識別子。
• クライアントシークレット: アプリケーションがAzure Active Directoryで認証するために使用するパスワードのような文字列。
• 共有アクセス署名: Tealiumによってリソースがどのようにアクセスされるかを示す特別なクエリパラメーターを提供してください。
• 保存アカウント名: Blob、File、Queue、Table保存などの保存サービスにアクセスするために使用されるAzure Storageアカウントの一意の名前。
• APIバージョン: あなたのAzure Storageインスタンスと互換性のあるAPIバージョン。デフォルトバージョンは 2025-01-05です。

Google Cloud Storage

Googleでサインインをクリックし、画面の指示に従ってください。

ノートブックの作成

Databricksのノートブックは、実行可能なコード、ビジュアル化、およびナラティブテキストを含むドキュメントです。データの探索、可視化、および協力に使用されます。コネクタ構成では、新しいコネクタを作成する際に、構成ステップでノートブックの作成をクリックすることで新しいノートブックを作成するオプションがあります。

1. コネクタ構成画面でノートブックの作成をクリックします。
2. テーブル名を入力します。スキーマはジョブの作成時に指定されるため、このフィールドには追加しないでください。
   • 名前には英数字 (A-Z, a-z, 0-9) とアンダースコア (_) を含めることができます。
   • スペースや特殊文字（!, @, #, -, . など）は使用できません。
   • 名前は大文字と小文字が区別されます。たとえば、tableName と tablename は異なる名前とみなされます。
   • 名前は数字で始めることはできません。たとえば、1table は無効です。
3. ノートブックパスには、ノートブックの絶対パスを入力してください。例: /Users/user@example.com/project/NOTEBOOK_NAME。
   1. Databricksのノートブックの絶対パスを確認するには、Databricksのワークスペースにアクセスし、ユーザーセクションを展開します。
   2. ユーザーをクリックし、オプションメニューを展開します。
   3. URL/パスのコピー > 完全なパスをクリックします。パス名は次の形式になります: /Workspace/Users/myemail@company.com。希望の仮想フォルダとノートブック名をスラッシュ / で区切って追加します。例: /Workspace/Users/myemail@company.com/virtualfolder/virtualsubfolder/MyNotebook。
4. クラウドバケットで、データの保存先として接続するGoogle Cloud Platform (GCP) の保存バケットを選択します。
5. 上書きオプションは、指定されたワークスペースに既にノートブックが存在する場合にそれを上書きするかどうかを示します。

ジョブの作成

Databricksのジョブは、特定のスケジュールまたは特定のトリガーに基づいてノートブックを自動的に実行することを自動化します。ジョブを使用すると、定期的な間隔または特定のイベントがトリガーされたときに、データ処理、分析、レポート作成などのタスクを実行できます。

1. コネクタ構成画面でジョブの作成をクリックします。
2. 処理ジョブの名前を入力します。
3. カタログで、パイプラインデータを公開するために使用するUnityカタログからカタログを指定します。
4. ターゲットで、上記のカタログでテーブルを公開/更新するスキーマを指定します。ここではターゲットテーブルを指定しないでください。ノートブックで指定されたテーブルが使用されます。
5. ノートブックパスには、ノートブックの絶対パスを入力してください。例: /Users/user@example.com/project/NOTEBOOK_NAME。
   1. Databricksのノートブックの絶対パスを確認するには、Databricksのワークスペースにアクセスし、ユーザーセクションを展開します。
   2. ユーザーをクリックし、オプションメニューを展開します。
   3. URL/パスのコピー > 完全なパスをクリックします。パス名は次の形式になります: /Workspace/Users/myemail@company.com。希望の仮想フォルダとノートブック名をスラッシュ / で区切って追加します。例: /Workspace/Users/myemail@company.com/virtualfolder/virtualsubfolder/MyNotebook。
6. クラウドバケットで、Databricksに接続するクラウド保存バケットを選択します。
7. トリガータイプで、データを処理するタイミングを選択します。利用可能なオプションは以下の通りです:
   • ファイル到着: 新しいファイルが到着するたびにデータを処理します。
   • スケジュール: 指定したスケジュールでデータを定期的に処理します。
   • Cron: Cronフィールドで定義したスケジュールでデータを定期的に処理します。
8. 開始時間で、ジョブ処理の開始時間を hh:mm 形式で指定します。開始時間のデフォルト値は 00:00です。
9. タイムゾーンで、country/city 形式でタイムゾーンを指定します。例: Europe/London。開始時間を提供する場合、このフィールドは必須です。
10. Cronで、スケジュール処理に使用するクォーツcron式を入力します。例えば 20 30 * * * ? は、毎時、毎日、週の日、年の30分20秒にファイルを処理します。詳細については、Quartz: Cron Trigger Tutorialを参照してください。

アクション

次のセクションでは、各アクションでサポートされているパラメータをリストアップします。

イベントデータ全体の送信

パラメータ

カスタムイベントデータの送信

パラメータ

イベントパラメータ

Databricksテーブルの列にパラメータをマッピングします。少なくとも1つのパラメータをマッピングする必要があります。

訪問データ全体の送信

パラメータ

カスタム訪問データの送信

パラメータ

訪問パラメータ

Databricks テーブルの列にパラメータをマッピングしてください。少なくとも1つのパラメータをマッピングする必要があります。