Databricks Delta Sharing クラウドデータソース

Databricks Delta Sharing クラウドデータソースは現在アーリーアクセス中で、選ばれた顧客のみが利用可能です。Databricks Delta Sharing の利用を開始するには、Tealiumのカスタマーサクセスマネージャーに連絡してください。

クラウドデータソースの構成の一般的な概要については、クラウドデータソースの管理を参照してください。

動作原理

Databricks Delta Sharing クラウドデータソースは、Databricks間でデータ資産を安全に共有するDatabricks-to-Databricks共有プロトコルを使用します。

このプロトコルでは、あなたが提供者であり、Tealiumが受信者です。Databricksで共有を作成し、それらの共有にTealiumがアクセスできるように許可します。共有は、読み取り専用のテーブルと資産のコレクションです。

DatabricksでTealiumへの安全な接続を、Tealium共有識別子（メタストアID）を使用して構成します。データベースのユーザー名、パスワード、またはアクセストークンはDatabricksを離れることはありません。

CloudStreamと一緒に使用すると、データパイプラインはゼロコピーです。データはDatabricks環境内に留まり、アクティベーションのためにオンデマンドでアクセスされます。

データタイプ

Databricks Delta Sharing データソースは、すべてのDatabricksデータタイプをサポートしています。データが正しくインポートされるように、以下のガイドラインに従ってDatabricksデータタイプをマッピングしてください：

Databricks	Tealium
数値データタイプ	数値属性
文字列およびバイナリデータタイプ	文字列属性
論理データタイプ	ブール属性
日付および時間データタイプ	日付属性
配列	文字列の配列、数値の配列、またはブールの配列
マップ、構造体、オブジェクト、バリアント	文字列属性

詳細については、Databricks: データタイプ (AWS, Azure, GCP)を参照してください。

接続の作成

Delta Sharingを構成するためには、ユーザーはDatabricks Unity Catalogの以下の権限が必要です：CREATE RECIPIENT, CREATE SHARE, USE CATALOG, USE SCHEMA, および SELECT。メタストア管理者はこれらの権限を既に持っています。

Databricks Delta Sharingとの接続を作成するには、Databricksで次の手順を完了してください：

データを共有したいDatabricks Unity CatalogメタストアでDelta Sharingを有効にします。詳細については、Databricks: メタストアでDelta Sharingを有効にする (AWS, Azure, GCP) を参照してください。
Tealiumと共有する予定のテーブル、ビュー、またはカタログで共有を作成します。詳細については、Databricks: Delta Sharingの共有の作成と管理 (AWS, Azure, GCP) を参照してください。
受信者を作成します。Tealium受信者を作成するために必要なTealium metastore_idについては、Tealiumのカスタマーサクセスマネージャーに連絡してください。詳細については、Databricks: Delta Sharingのデータ受信者の作成と管理 (Databricks-to-Databricks共有) (AWS, Azure, GCP) を参照してください。
Tealiumに1つ以上の共有へのアクセスを許可します。詳細については、Databricks: Delta Sharingデータ共有へのアクセスの管理 (提供者用) (AWS, Azure, GCP) を参照してください。
再利用可能な接続を作成するために、Tealiumのカスタマーサクセスマネージャーに連絡してください。

Databricks Delta Sharingに接続した後、Table Selectionリストからデータソーステーブルを選択します。

マルチテーブルジョインはサポートされていません。同じ機能を実現するには、Databricksビューを使用します。詳細については、Databricks: ビューの作成と管理 (AWS, Azure, GCP) を参照してください。

クエリモード

一般的な概要については、クラウドデータソースについてを参照してください。

Databricks Delta Sharingについては、次の要件に注意してください：

Timestamp + Incrementing および Timestamp モード：選択されたタイムスタンプ列は TIMESTAMP タイプでなければなりません。詳細については、Databricks: TIMESTAMPタイプ (AWS, Azure, GCP) を参照してください。
Incrementing モード：選択された数値列は、追加されるたびに値が増加する必要があります。自動インクリメント列の推奨定義は次のとおりです：

COL1 BIGINT GENERATED ALWAYS AS IDENTITY (START WITH 1 INCREMENT BY 1)

詳細については、Databricks CREATE TABLE (AWS, Azure, GCP) を参照してください。

WHERE句

一般的な概要については、クラウドデータソースについてを参照してください。

WHERE 句は複数のテーブルからのサブクエリをサポートしていません。複数のDatabricksテーブルからデータをインポートするには、Databricksでビューを作成し、データソース構成でビューを選択します。

詳細については、Databricks: ビューとは何か？ (AWS, Azure, GCP) を参照してください。

IPアクセスリスト

DatabricksワークスペースがIPアドレスによって制限されている場合は、Tealium IPアドレスをDatabricksのIPアクセスリストに追加してください。

詳細については、Databricks: IPアクセスリストの管理 (AWS, Azure, GCP) を参照してください。