CloudStreamデータソースの管理

動作原理

データソースは、SnowflakeやDatabricksなどのデータクラウドへの定義済み接続です。CloudStreamはこれらのデータソースに接続してセグメントを取得し、Tealiumにデータを保存せずにアクティベーションします。これにより、既存のデータインフラの力を活用しながら、クラウドから直接大規模なデータセットを扱うことができます。

プロファイルで最大10個のデータソースに接続できます。

CloudStreamデータソースは、データクラウドに保存されているデータと直接連携するように設計されています。データはデータクラウドに残り、コネクタを通じて一時的にインポートされるだけで、Tealiumには保存されません。

CloudStreamはクラウドデータソースのみをサポートしています。

クラウドデータソースについての詳細は、クラウドデータソースについてを参照してください。

構成のテスト

データソース、セグメント、またはアクティベーションを有効にする前に、データソースとクエリをテストすることをお勧めします。ただし、テストを実行すると、セグメントがアクティブ化され、有効なアクションがトリガーされ、下流のシステムに影響を与える可能性があります。意図しない結果を防ぐために、コネクタと機能を無効にし、テストレコードを制限し、受信者と調整してください。

データソース構成をテストするには、次の手順を使用します：

1. データソースウィンドウの右上隅にあるアクションボタンをクリックし、エンドツーエンドテストをクリックします。
2. 出力を受け取る方法を選択します：
   • 新しいトレースセッション：出力は最大10レコードの新しいトレースセッションで表示されます。このオプションは、エンドツーエンドの検証とログの詳細を確認するのに最適です。
   • 既存のトレースセッション：すでに開始しているトレースセッションで出力が表示されます。トレースIDを入力し、トレースに参加をクリックします。
   • ダイレクト出力：生の結果が画面に表示されます。データレコードにトレースIDは追加されず、トレースは利用できません。このオプションは、クエリと属性マッピングをすばやく確認するのに最適です。
3. テストのために処理する行数を選択します。最大行数は10です。
4. テストクエリの下で、テストに含めるテーブルのカラムを選択します。リストからカラムを削除するには、カラムのXをクリックします。少なくとも1つのカラムを選択する必要があります。
5. From Tableの下で、クエリを実行するテーブルを選択します。Select Columnsボックスは、テーブルのカラムで更新されます。
6. Whereの下で、テーブルに対して実行するSQLクエリを入力します。
7. Check QueryをクリックしてSQLを検証し、必要なフィールドが構成されていることを確認します。結果はQuery Result Previewタブの下のテーブルに表示されます：

   

8. Start Testをクリックして構成テストを開始します。

右サイドバーには、テストの完了までの時間を推定するプログレスバーと、テストがエラーに遭遇した場合に知らせるステータスメッセージが表示されます。

テストが完了すると、結果が表示されます：

• テストの実行をトレースで見たい場合は、Join Traceをクリックします。
• テストが失敗した場合は、次のことができます：
  • Edit Test Configurationをクリックして構成を変更します。
  • Retry Testをクリックして現在の構成を再実行します。

オフセットの管理

データソースは、クエリが開始される日付または増分値の位置を追跡します。オフセットをリセットまたは手動で構成することで、ビューまたはテーブルのどこからクエリを開始するかを制御できます。

たとえば、最近のメーリングリストのアクティベーションにエラーが含まれており、100レコードが処理された場合、現在の増分オフセットは342です。メールアクティベーションを修正した後、これらのレコードを再処理するには、オフセットを242に構成します。データソースを再起動すると、その位置からレコードのクエリが開始され、修正されたメールが送信されます。

次の条件が真の場合にのみ、オフセットを管理できます：

• 現在のプロファイルが公開されています。
• クエリモードがTimestamp + Incrementing (推奨)、Timestamp、またはIncrementingです。Full Resyncクエリモードではオフセットを管理できません。
• データソースが停止しています。
  • データソースの状態が実行中、スケジュールされている、または失敗している場合は、オフセットを編集できません。現在のオフセットに関する情報のみが利用可能です。
  • 状態が初期化中、非アクティブ、または接続エラーがある場合、オフセットは利用できません。

データソースのオフセットを管理するには、次の手順を使用します：

1. データソースの詳細ウィンドウの右上隅にあるアクションボタンをクリックし、Manage Offsetをクリックします。
2. 利用可能なオフセット方法はTimestampとIncrementing Columnです。クエリモードによって利用可能なオフセットが決まります。
3. Timestamp Columnの下で、タイムスタンプを表すテーブルのカラムを選択します。
4. New Timestampの下で、データをインポートする際にタイムスタンプからオフセットする日付と時間を選択します。
   • 新しいタイムスタンプは過去の日時でなければなりません。未来の日時は使用できません。
   • 現在のタイムスタンプフィールドには、現在使用されているオフセットが表示されます。
5. Incrementing columnの下で、テーブルに追加される各行の増分値を表すカラムを選択します。
6. New Incrementの下で、データをインポートする際にIDからオフセットする数値を入力します。
   • 新しいオフセットIDは正の整数でなければなりません。
   • 現在のオフセットIDフィールドには、オフセットとして使用される現在の数値が表示されます。

Validate Offset Changesをクリックして、新しいオフセット位置からインポートされるデータのプレビューを表示します。テーブルはサンプル行を表示し、オフセットを調整した後に処理される行数の見積もりも提供します。

Doneをクリックして新しいオフセット構成を確認します。Cancelをクリックして変更を破棄します。

オフセットを変更した後、データソースを再起動します。