CloudStreamデータソースの管理

動作原理

データソースは、SnowflakeやDatabricksなどのデータクラウドへの定義済み接続です。CloudStreamはこれらのデータソースに接続してセグメントを取得し、Tealiumにデータを保存することなくアクティベーションします。これにより、既存のデータインフラの力を活用しながら、クラウドから直接大規模なデータセットを扱うことができます。

プロファイルで最大10個のデータソースに接続できます。

CloudStreamデータソースは、データクラウドに保存されているデータと直接連携して動作します。データはデータクラウドに残り、コネクタを通じて一時的にインポートされるだけで、Tealiumには保存されません。

各データソースは一度に1つのビューまたはテーブルに接続できます。データクラウドから複数のテーブルやビューに接続する必要がある場合は、テーブルやビューごとに別のデータソースを構成してください。

CloudStreamはクラウドデータソースのみをサポートしています。

クラウドデータソースについての詳細は、クラウドデータソースについてを参照してください。

構成のテスト

データソース、セグメント、またはアクティベーションを有効にする前に、データソースとクエリをテストすることをお勧めします。ただし、テストを実行すると、セグメントがアクティブ化されたり、有効なアクションがトリガーされたり、下流システムに影響を与える可能性があります。意図しない結果を防ぐために、コネクタと機能を無効にし、テストレコードを制限し、受信者と調整してください。

データソース構成をテストするには、次の手順を使用します：

1. データソースウィンドウの右上隅にあるアクションボタンをクリックし、エンドツーエンドテストをクリックします。
2. 出力を受け取る方法を選択します
   • 新しいトレースセッション：出力は最大10レコードの新しいトレースセッションで表示されます。このオプションは、エンドツーエンドの検証とログの詳細を確認するのに最適です。
   • 既存のトレースセッション：出力はすでに開始しているトレースセッションで表示されます。トレースIDを入力し、トレースに参加をクリックします。
   • ダイレクト出力：出力の生の結果が画面に表示されます。データレコードにトレースIDは追加されず、トレースは利用できません。このオプションは、クエリと属性マッピングをすばやく確認するのに最適です。
3. テストのために処理する行数を選択します。最大行数は10です。
4. テストクエリの下で、テストに含めるテーブルのカラムを選択します。リストからカラムを削除するには、カラムのXをクリックします。少なくとも1つのカラムを選択する必要があります。
5. From Tableの下で、クエリを実行するテーブルを選択します。Select Columnsボックスは、テーブルのカラムで更新されます。
6. Whereの下で、テーブルに対して実行するSQLクエリを入力します。
7. Check QueryをクリックしてSQLを検証し、必要なフィールドが構成されていることを確認します。
8. 結果はQuery Result Previewタブの下のテーブルに表示されます：

   

9. Start Testをクリックして構成テストを開始します。

右サイドバーには、テストの完了までの時間と、テストがエラーに遭遇した場合のステータスメッセージを表示する進行状況バーが表示されます。

テストが完了すると、結果が表示されます：

• テストの実行をトレースで見たい場合は、トレースに参加をクリックします。
• テストが失敗した場合、次のことができます：
  • テスト構成の編集をクリックして構成を変更します。
  • テストの再試行をクリックして現在の構成を再度実行します。

オフセットの管理

データソースは、クエリが開始される日付または増分値の位置を追跡します。オフセットを使用すると、クエリを開始するビューまたはテーブルの位置をリセットまたは手動で構成して制御できます。

たとえば、最近のメーリングリストのアクティベーションにエラーが含まれており、100レコードが処理された場合、現在の増分オフセットは342です。メールアクティベーションを修正した後、これらのレコードを再処理するには、オフセットを242に構成します。データソースを再起動すると、その位置からレコードのクエリが開始され、修正されたメールが送信されます。

次の条件が真の場合にのみ、オフセットを管理できます：

• 現在のプロファイルが公開されています。
• クエリモードがタイムスタンプ + 増分（推奨）、タイムスタンプ、または増分です。完全な再同期クエリモードでは、オフセットを管理できません。
• データソースが停止しています。
  • データソースの状態が実行中、スケジュールされている、または失敗している場合、オフセットを編集することはできません。現在のオフセットに関する情報のみが利用可能です。
  • 状態が初期化中、非アクティブ、または接続エラーがある場合、オフセットは利用できません。

データソースのオフセットを管理するには、次の手順を使用します：

1. データソースの詳細ウィンドウの右上隅にあるアクションボタンをクリックし、オフセットの管理をクリックします。
2. 利用可能なオフセット方法はタイムスタンプと増分列です。クエリモードによって利用可能なオフセットが決まります。
3. タイムスタンプ列の下で、タイムスタンプを表すテーブルのカラムを選択します。
4. 新しいタイムスタンプの下で、データをインポートする際にタイムスタンプからオフセットする日付と時間を選択します。
   • 新しいタイムスタンプは過去の日時でなければなりません。未来の日時は使用できません。
   • 現在のタイムスタンプフィールドには、現在使用されているオフセットが表示されます。
5. 増分列の下で、テーブルに追加される各行の増分値を表すカラムを選択します。
6. 新しい増分の下で、データをインポートする際にIDからオフセットする数値を入力します。
   • 新しいオフセットIDは正の整数でなければなりません。
   • 現在のオフセットIDフィールドには、オフセットとして使用される現在の数値が表示されます。

オフセット変更の検証をクリックして、新しいオフセット位置からインポートされるデータのプレビューを表示します。テーブルにはサンプル行が表示され、オフセットを調整した後に処理される行数の見積もりも提供されます。

完了をクリックして新しいオフセット構成を確認します。キャンセルをクリックして変更を破棄します。

オフセットを変更した後、データソースを再起動します。