Skip to main content
この記事は Spumote のソースコードから生成した試験出力です。内容は確認中のため、正式な仕様は担当者に確認してください。

この機能でできること

「生成データ(アセット)」は、自動処理(ワークフロー)が作ったデータや、外部から届いたデータ(BigQuery のテーブル・ファイルなど)に名前を付けて一覧にしたものです。それぞれのデータについて「いつ作られたか」「どの処理が作り、どの処理がそれを使っているか」を確認できます。
  • データがいつ・どの実行で作られたか(マテリアライズ履歴)を見る
  • 日付ごとにデータがそろっているか、欠けている日はないか、欠けた原因は何かを確認する
  • 「毎朝 9:30 までに届いているはず」といった期待(鮮度ポリシー)を登録し、守られなかったら気づけるようにする
  • そのデータを待って起動するワークフロー(購読)と、待ち合わせの状況を確認する
  • データのつながり(系譜)を図で見る
アセットの「マテリアライズ(実体化)」とは、「このデータができた」という記録のことです。画面では「実体化」「生成」と表示されます。ワークフローのステップがデータを書き出したとき、またはデータ到着チェック(センサー)が新しいデータを見つけたときに記録され、その記録をきっかけに後続のワークフローを起動できます(「02-3-3 自動処理(ワークフロー):実行タイミングと変数」のアセット駆動トリガー)。

画面の場所

データ › うごかす › 自動処理(ワークフロー)› 生成データ(アセット) 一覧の行をクリックすると、そのアセットの詳細が全画面のウィンドウで開きます。

アセットの種類

一覧の「種類」は、記録の出どころから自動で推定されます。 推定が実態と合わない場合は、「定義」で種類を上書きできます(後述)。

一覧画面

上部の集計

鮮度違反があると、「◯ 件の Asset が鮮度 SLA に違反しています。」という赤い帯が表示され、クリックで鮮度ポリシーの一覧を開けます。

一覧の列と検索

  • 検索欄(「アセット名・キー・対象で検索」)では、名前・アセットキー・対象・オーナー・タグなどで絞り込めます。
  • 列名をクリックすると、昇順 → 降順 → 並べ替えなし の順に切り替わります。鮮度で並べると問題のあるものが先頭に来ます。
  • 右上の「センサーを追加」から、データ到着チェック(センサー)の作成画面へ進めます。

アセットの詳細

詳細には「概要」「実体化」「品質」「系譜」「トリガー」の 5 つのタブがあります。

概要

  • 生成元・監視・利用元・実体化の件数
  • 連鎖: 「これを作る」(上流)と「これで起動する」(下流)を並べて表示
  • 直近の実体化: 時刻・パーティション(日付などの区切り)・実行。実行 ID をクリックすると実行履歴の詳細に移ります
  • 鮮度ポリシー: 状態と登録件数。「ポリシーを管理」で品質タブへ移ります
  • 定義: 表示名・オーナー・説明・タグなど(後述)
  • 具体対象: テーブル名やファイルの場所
  • 生産者: このアセットの実体化を出す側(ワークフロー / センサー / 手動記録)

実体化(マテリアライズ履歴)

直近の実体化の記録が新しい順に並びます。

実体化を手動で記録する

Spumote の外で起きた更新(外部システムがテーブルを更新した、ファイルを置いた等)を、手動で履歴に追記できます。
  1. 「実体化」タブで「実体化を手動記録」を押します。
  2. 「パーティション ( 任意 )」(空欄ならパーティションなし)と「メモ ( 任意 )」を入力します。
  3. 「記録する」を押します。同じ記録が既にある場合は追加されません。
手動記録は履歴に追記するだけで、このアセットを待っているワークフローは起動しません。後続の処理を動かしたい場合は、そのワークフローを手動実行するかバックフィル(期間を指定した再実行)を使います。

品質(そろっているか・新しいか)

「品質」タブでは、パーティションのそろい具合と鮮度ポリシーをまとめて確認します。 パーティションの表示
  • 日付・時刻として読めるパーティションは、1 日ごと(または 1 時間ごと)のマス目で並びます(日本時間)。
    • 日単位: 月曜始まりの週ごとに並ぶカレンダー形式
    • 時間単位: 直近の日数 × 24 時間のマス目。横一列の欠けは「毎日同じ時刻に欠けている」、縦一列の欠けは「その日が丸ごと欠けている」ことを示します
  • マスの状態は「実体化あり」「欠け ( 実績範囲内で来ていない )」「集計中 ( 現在のバケット )」「記録なし期間 ( 初回実体化より前 )」で色分けされ、濃いほど実体化回数が多いことを表します。
  • 日付として読めないパーティション(ファイル名など)は「日付以外のパーティション」として新しい順に並びます。
欠けの原因診断 「欠け」のマスをクリックすると、原因と回復のための操作が表示されます。 ほかに「生成ワークフローのバックフィルを開く」も選べます。実体が既に存在する場合は、実体化タブから手動で記録できます。

鮮度ポリシー

鮮度ポリシーは、「このデータはこのくらいの頻度・時刻までに更新されているはず」という期待を登録する機能です。定期的に(約 5 分ごと)自動で判定され、守られていないと「違反」になります。
  • 一覧画面右上の「鮮度ポリシー」で全アセット分を、詳細の「品質」タブでそのアセットの分を管理できます。
  • 「新規ポリシー」で作成します。一覧画面から作る場合はアセットキーを入力します。
鮮度の状態は次のバッジで表示されます。 正常から違反に変わったときに、通知(メール・Webhook)が 1 回送られます。

系譜

このアセットを中心に、上流・下流のつながりを図で表示します。図の要素は「アセット」「ワークフロー」「センサー」の 3 種類で、つながりの種類は「出力」「トリガー」「ステップ内の待ち」「センサー」です。
  • 「深さ」(1〜5、初期値 3)で、何段先まで表示するかを切り替えます。表示しきれない場合は「ノード上限で打ち切り」と表示されます。
  • 「全体グラフを開く」で、組織内のすべてのアセット・ワークフロー・センサーの関係を表示する「アセット系譜」画面へ移ります(最大 500 ノード)。「アセットキーまたは名前で絞り込む」で探せます。

トリガー(購読と揃い待ち)

このアセットを起動条件(アセットトリガー)に使っているワークフローの一覧です。ワークフローにアセットトリガーを設定すると、そのアセットの「購読」が自動で登録されます。 「揃い待ち」では、各アセットトリガーが直近のパーティションごとに何を待っているかを確認できます。 まだ誰も待っていないアセットでは、「このアセットを待つワークフローを作成」から、このアセットをトリガーにしたワークフローを作り始められます。

定義(表示名・オーナー・タグ)

アセットの一覧は実体化の記録から自動で作られます。「定義」は、その上に人が付けた意味(表示名・担当・説明など)を重ねるものです。空欄の項目は推定値が使われます。
  1. 詳細の「概要」タブで「定義を編集」を押します。
  2. 次の項目を入力し、「保存する」を押します。
「定義を削除」で定義だけを消せます。実体化の履歴には影響しません。

活用例

  • 朝の配信前チェック: 配信に使う購買集計テーブルに「締切」ポリシー(毎朝 9:00)を設定し、一覧の「鮮度違反」で集計の遅れに配信前に気づく。
  • 欠けた日の特定と復旧: 品質タブで欠けている日付を見つけ、原因診断から失敗した実行を開いて「失敗ステップから再実行」する。
  • 影響範囲の確認: 元データの仕様が変わるとき、系譜で下流のワークフローやアセットを確認し、影響を受ける施策を洗い出す。

注意点・制限

  • 手動記録は後続のワークフローを起動しません。
  • 手動記録のパーティションは 64 文字まで。一覧と同じ表記で入力してください。
  • 鮮度ポリシーの「最大遅延」は最大 31 日(44,640 分)まで、締切の cron は 128 文字までです。締切は日本時間で評価されます。
  • 「締切」と「パーティション粒度」を組み合わせると、「締切までに当日(当時)の分が届くこと」という意味になります。前日分(D-1)を翌朝までに届ける運用では毎日違反になるため、その場合は「パーティションを問わない」を選んでください。
  • アセットトリガーの保存前に記録された実体化は、後から設定したトリガーには届きません。取りこぼしはバックフィルで埋めます。
  • 実体化の手動記録・定義の編集には、ワークフローの編集権限が必要です。権限がない場合、アセット詳細にはこれらのボタンが表示されません。
  • 鮮度ポリシーは、編集権限があればアセット詳細の「品質」タブに「新規ポリシー」や削除のボタンが表示されますが、ポリシーの取得・作成・更新・削除には、さらに鮮度ポリシーの管理権限(「アセット鮮度監視ポリシーの管理」)が必要です。編集権限だけの場合はボタンを押すと「鮮度ポリシーを利用する権限がありません。組織の管理者にお問い合わせください。」と表示されます。同じ警告は、一覧画面右上の「鮮度ポリシー」でも表示されます。

詳しい設定(データ担当者向け)

  • アセットキーは自由な文字列(255 文字まで)で、ワークフローステップの出力設定やセンサーの作成時に指定します。同じキーを使うと同じアセットとして扱われます。
  • パーティションの日付判定では、2026-08-18 / 20260818 / 2026/08/18/09 / 2026-08-18T09 のような表記を同じ日として扱います。日付として読めないキーは「日付以外のパーティション」として扱われ、鮮度の粒度判定では「当日分ではない」とみなされます。
  • 鮮度の「締切」は、直近の締切の 1 つ前の締切以降に実体化があるかで判定します。

関連ページ