デプロイされたモデルの健康状態

モデルダッシュボードは、デプロイされた各モデルをリストで表示します。各行にはそのモデルの予測結果のスナップショットが含まれています。モデルダッシュボードビューにアクセスするには、Predict > Model Dashboard > Deployed Modelsに移動します。

モデルの概要では、モデルについて以下の情報が表示されることがあります：

• この指標が増加または減少したかを示す指標とともに、モデルの再現率。
• モデルの一般的なパフォーマンスの傾向を示すスパークライングラフ。

強度評価は自動的に再計算され、スパークライングラフはリアルタイムのパフォーマンス指標を反映します。

• デプロイされたモデルのバージョン。

デプロイされたモデルの強度の評価

モデルの強度評価は、バージョンの品質に対するラベルを提供します。強度評価には、_deployed_と_training_の2種類があります。デプロイされた強度は、各デプロイされたモデルの進行中の評価です。トレーニング強度は、各トレーニングバージョンの静的な評価です。詳細については、Strength scoresを参照してください。

ライブモデルパフォーマンス詳細

デプロイされたライブパフォーマンススコアを使用すると、モデルの継続的な品質を理解し、時間の経過とともに劣化したことを知ることができます。

Tealium Predictでは、再現率、精度、F1スコアは、利用可能な最新の時間窓を使用してデプロイされたモデルに対して毎日自動的に再計算されます。この窓はPrediction Timeframeで定義され、モデルで「次のx日間」と指定された日数に相当します。毎日の再計算を開始するためには、実際の真/偽の結果がわかり、計算に使用できるように、モデルを初期の予測時間枠でデプロイする必要があります。計算窓は、毎日1日ずつ前に移動します。

Live Performance画面では、毎日の再現率、精度、F1スコアが時間の経過とともにモデルの健康状態がどのように変化したかを示します。Live Performanceウィンドウでは、Prediction Distributionチャートを使用して、予測時間枠内でのPrediction Valueを探索することもできます。予測値は、訪問の次の訪問が予測時間枠内にTrueに構成されるターゲット属性結果の可能性を表します。

Prediction Distributionチャートでは、y軸は予測時間枠内でターゲット属性の振る舞いがTrueまたはFalseだった回数で、x軸は予測値です。理想的な結果は、Trueのカウントが予測値の上位範囲（例えば、0.5以上）に、Falseのカウントが予測値の下位範囲（例えば、0.5以下）に落ちることを示します。予測分布の形状がトレーニングモデルからの確率分布に似ている場合、それは時間の経過とともに強いモデルの健康状態の指標です。

ライブパフォーマンスの予測分布を使用して、オーディエンス作成の閾値を決定するのに役立てることができます。例えば、上記の確率分布チャートでは、実際のTrueのカウントの大部分が0.75から1の範囲にあるため、0.75を閾値として、次の2日間で高い確率で購入する可能性があるオーディエンスを定義することができます。同様に、次の2日間で購入する可能性が低いオーディエンスを0.4の閾値以下で定義することができます。

劣化と再トレーニング

すべての機械学習モデルは、現実世界が絶えず変化するのと同じように、時間の経過とともに自然に品質が劣化します。モデルは最終的に停滞し、変化する環境についての正確な予測をする能力が劣化します。したがって、モデルは最新のデータセットに基づいていることを確認するために、定期的に再トレーニングする必要があります。