> ## Documentation Index
> Fetch the complete documentation index at: https://docs.core.sprocket.bz/llms.txt
> Use this file to discover all available pages before exploring further.

# 生成データ（アセット）

> ワークフローや外部から届いたデータをアセットとして一覧し、実体化の履歴、欠けの診断、鮮度ポリシー、系譜、購読を確認する方法を説明します。

> この記事は Spumote のソースコードから生成した試験出力です。内容は確認中のため、正式な仕様は担当者に確認してください。

## この機能でできること

「生成データ（アセット）」は、自動処理（ワークフロー）が作ったデータや、外部から届いたデータ（BigQuery のテーブル・ファイルなど）に名前を付けて一覧にしたものです。それぞれのデータについて「いつ作られたか」「どの処理が作り、どの処理がそれを使っているか」を確認できます。

* データがいつ・どの実行で作られたか（マテリアライズ履歴）を見る
* 日付ごとにデータがそろっているか、欠けている日はないか、欠けた原因は何かを確認する
* 「毎朝 9:30 までに届いているはず」といった期待（鮮度ポリシー）を登録し、守られなかったら気づけるようにする
* そのデータを待って起動するワークフロー（購読）と、待ち合わせの状況を確認する
* データのつながり（系譜）を図で見る

アセットの「マテリアライズ（実体化）」とは、「このデータができた」という記録のことです。画面では「実体化」「生成」と表示されます。ワークフローのステップがデータを書き出したとき、またはデータ到着チェック（センサー）が新しいデータを見つけたときに記録され、その記録をきっかけに後続のワークフローを起動できます（「02-3-3 自動処理（ワークフロー）：実行タイミングと変数」のアセット駆動トリガー）。

## 画面の場所

データ › うごかす › 自動処理（ワークフロー）› 生成データ（アセット）

一覧の行をクリックすると、そのアセットの詳細が全画面のウィンドウで開きます。

## アセットの種類

一覧の「種類」は、記録の出どころから自動で推定されます。

| 種類（画面表示） | 意味 |
| - | - |
| BigQuery テーブル | ワークフローステップが BigQuery に書き込んだテーブル |
| ファイル | ワークフローステップが出力したファイルの宛先 |
| 外部監視 | 外部ソース監視（センサー）がデータ到着を検知して記録したもの |
| 手続き実行 | プロシージャ（BigQuery 上の一連の処理）などの完了を表すもの |
| 論理マーカー | ワークフローのステップが成功したときに記録される「準備完了」の目印 |
| 複合 | ワークフローの出力と外部監視の両方から記録されうるもの |
| 不明 | 記録はあるが、作ったステップを特定できていないもの |

推定が実態と合わない場合は、「定義」で種類を上書きできます（後述）。

## 一覧画面

### 上部の集計

| 項目 | 内容 |
| - | - |
| 総アセット数 | 登録されているアセットの数 |
| 直近24hの生成 | 直近 24 時間に実体化されたアセットの数 |
| 鮮度違反 | 鮮度ポリシーを守れていないアセットの数 |
| 外部監視あり | センサーで監視しているアセットの数 |

鮮度違反があると、「◯ 件の Asset が鮮度 SLA に違反しています。」という赤い帯が表示され、クリックで鮮度ポリシーの一覧を開けます。

### 一覧の列と検索

| 列 | 内容 |
| - | - |
| 名前 | 表示名とアセットキー（アセットを識別する名前）、タグ |
| 種類 | 上表の種類 |
| 対象 | 実際のテーブル名やファイルの場所 |
| オーナー | 定義で登録した担当チームなど |
| 最終生成 | 最後に実体化された日時 |
| 鮮度 | 鮮度ポリシーの状態（後述） |
| 参照 | 生成元・利用元・監視の数 |

* 検索欄（「アセット名・キー・対象で検索」）では、名前・アセットキー・対象・オーナー・タグなどで絞り込めます。
* 列名をクリックすると、昇順 → 降順 → 並べ替えなし の順に切り替わります。鮮度で並べると問題のあるものが先頭に来ます。
* 右上の「センサーを追加」から、データ到着チェック（センサー）の作成画面へ進めます。

## アセットの詳細

詳細には「概要」「実体化」「品質」「系譜」「トリガー」の 5 つのタブがあります。

### 概要

* 生成元・監視・利用元・実体化の件数
* **連鎖**: 「これを作る」（上流）と「これで起動する」（下流）を並べて表示
* **直近の実体化**: 時刻・パーティション（日付などの区切り）・実行。実行 ID をクリックすると実行履歴の詳細に移ります
* **鮮度ポリシー**: 状態と登録件数。「ポリシーを管理」で品質タブへ移ります
* **定義**: 表示名・オーナー・説明・タグなど（後述）
* **具体対象**: テーブル名やファイルの場所
* **生産者**: このアセットの実体化を出す側（ワークフロー / センサー / 手動記録）

### 実体化（マテリアライズ履歴）

直近の実体化の記録が新しい順に並びます。

| 列 | 内容 |
| - | - |
| 時刻 | 実体化された日時 |
| パーティション | 日付などの区切り |
| 行数 | 書き出した行数。行数を記録しないステップ種別では「n/a」 |
| ワークフロー / 実行 | 作ったワークフローと実行。クリックで移動できます |

#### 実体化を手動で記録する

Spumote の外で起きた更新（外部システムがテーブルを更新した、ファイルを置いた等）を、手動で履歴に追記できます。

1. 「実体化」タブで「実体化を手動記録」を押します。
2. 「パーティション ( 任意 )」（空欄ならパーティションなし）と「メモ ( 任意 )」を入力します。
3. 「記録する」を押します。同じ記録が既にある場合は追加されません。

手動記録は履歴に追記するだけで、このアセットを待っているワークフローは起動しません。後続の処理を動かしたい場合は、そのワークフローを手動実行するかバックフィル（期間を指定した再実行）を使います。

### 品質（そろっているか・新しいか）

「品質」タブでは、パーティションのそろい具合と鮮度ポリシーをまとめて確認します。

**パーティションの表示**

* 日付・時刻として読めるパーティションは、1 日ごと（または 1 時間ごと）のマス目で並びます（日本時間）。
  * 日単位: 月曜始まりの週ごとに並ぶカレンダー形式
  * 時間単位: 直近の日数 × 24 時間のマス目。横一列の欠けは「毎日同じ時刻に欠けている」、縦一列の欠けは「その日が丸ごと欠けている」ことを示します
* マスの状態は「実体化あり」「欠け ( 実績範囲内で来ていない )」「集計中 ( 現在のバケット )」「記録なし期間 ( 初回実体化より前 )」で色分けされ、濃いほど実体化回数が多いことを表します。
* 日付として読めないパーティション（ファイル名など）は「日付以外のパーティション」として新しい順に並びます。

**欠けの原因診断**

「欠け」のマスをクリックすると、原因と回復のための操作が表示されます。

| 表示される原因 | 回復の操作 |
| - | - |
| 生成 run が失敗している | 「失敗した run を開く ( 失敗した step から再実行 )」 |
| 上流アセットが同じパーティションで欠けている | 「上流 ◯◯ を確認」 |
| センサーが停止している / 失敗している | 「センサーを開く」「センサーを今すぐ実行」 |
| ソースにこのぶんが置かれていない ( 未着 ) | ファイルが置かれれば次の確認（1 分ごと）で自動的に取り込まれます |
| 既存データからは原因を特定できませんでした | ソース側の確認を推奨 |

ほかに「生成ワークフローのバックフィルを開く」も選べます。実体が既に存在する場合は、実体化タブから手動で記録できます。

### 鮮度ポリシー

鮮度ポリシーは、「このデータはこのくらいの頻度・時刻までに更新されているはず」という期待を登録する機能です。定期的に（約 5 分ごと）自動で判定され、守られていないと「違反」になります。

* 一覧画面右上の「鮮度ポリシー」で全アセット分を、詳細の「品質」タブでそのアセットの分を管理できます。
* 「新規ポリシー」で作成します。一覧画面から作る場合はアセットキーを入力します。

| 設定項目 | 選択肢・入力 | 意味 |
| - | - | - |
| ポリシー種別 | 最大遅延 ( 間隔 ) | 最後の実体化から一定時間以上たったら違反 |
| | 締切 ( cron ) | 決めた締切時刻までに新しい実体化がなければ違反 |
| 最終 materialization からの許容分数 | 1 以上の分数（初期値 120） | 「最大遅延」のときの許容時間。最大 31 日分 |
| 締切 cron ( Asia/Tokyo ) | cron 形式（初期値「30 9 \* \* \*」） | 「締切」のときの締切時刻。例: "30 9 \* \* \*" = 毎朝 9:30 までにデータ到着 |
| パーティション粒度 | パーティションを問わない ( 既定 ) / 当日のパーティション ( day ) / 当時のパーティション ( hour ) | 指定すると、日本時間の「今日（今の時間帯）」のパーティションが届いているかで判定します |
| 有効 | オン / オフ | オフにすると判定しません |

鮮度の状態は次のバッジで表示されます。

| 表示 | 意味 |
| - | - |
| Fresh | 直近の判定で期待どおり |
| 違反 | 期待を守れていない |
| 未評価 | ポリシーはあるが、まだ判定されていない（または無効） |
| 未設定 | ポリシーが登録されていない |

正常から違反に変わったときに、通知（メール・Webhook）が 1 回送られます。

### 系譜

このアセットを中心に、上流・下流のつながりを図で表示します。図の要素は「アセット」「ワークフロー」「センサー」の 3 種類で、つながりの種類は「出力」「トリガー」「ステップ内の待ち」「センサー」です。

* 「深さ」（1〜5、初期値 3）で、何段先まで表示するかを切り替えます。表示しきれない場合は「ノード上限で打ち切り」と表示されます。
* 「全体グラフを開く」で、組織内のすべてのアセット・ワークフロー・センサーの関係を表示する「アセット系譜」画面へ移ります（最大 500 ノード）。「アセットキーまたは名前で絞り込む」で探せます。

### トリガー（購読と揃い待ち）

このアセットを起動条件（アセットトリガー）に使っているワークフローの一覧です。ワークフローにアセットトリガーを設定すると、そのアセットの「購読」が自動で登録されます。

「揃い待ち」では、各アセットトリガーが直近のパーティションごとに何を待っているかを確認できます。

| 表示 | 意味 |
| - | - |
| 揃った | 必要なアセットがすべてそろった |
| 待機中 | まだそろっていない。「不足」に足りないアセットが表示されます |
| 起動済み | そろってワークフローが起動した |
| トリガー無効 | トリガーが無効になっている |

まだ誰も待っていないアセットでは、「このアセットを待つワークフローを作成」から、このアセットをトリガーにしたワークフローを作り始められます。

## 定義（表示名・オーナー・タグ）

アセットの一覧は実体化の記録から自動で作られます。「定義」は、その上に人が付けた意味（表示名・担当・説明など）を重ねるものです。空欄の項目は推定値が使われます。

1. 詳細の「概要」タブで「定義を編集」を押します。
2. 次の項目を入力し、「保存する」を押します。

| 項目 | 内容 |
| - | - |
| 表示名 | 一覧に表示する名前。空欄なら推定の名前、なければアセットキー |
| オーナー | 運用チーム名など（自由入力、64 文字まで） |
| 説明 | 何が入っていて、どう作られるか |
| タグ | カンマ区切り（例: daily, core）。20 個まで、1 個 32 文字まで |
| 種類の上書き | 推定の種類を使う、または種類を選んで上書き |

「定義を削除」で定義だけを消せます。実体化の履歴には影響しません。

## 活用例

* **朝の配信前チェック**: 配信に使う購買集計テーブルに「締切」ポリシー（毎朝 9:00）を設定し、一覧の「鮮度違反」で集計の遅れに配信前に気づく。
* **欠けた日の特定と復旧**: 品質タブで欠けている日付を見つけ、原因診断から失敗した実行を開いて「失敗ステップから再実行」する。
* **影響範囲の確認**: 元データの仕様が変わるとき、系譜で下流のワークフローやアセットを確認し、影響を受ける施策を洗い出す。

## 注意点・制限

* 手動記録は後続のワークフローを起動しません。
* 手動記録のパーティションは 64 文字まで。一覧と同じ表記で入力してください。
* 鮮度ポリシーの「最大遅延」は最大 31 日（44,640 分）まで、締切の cron は 128 文字までです。締切は日本時間で評価されます。
* 「締切」と「パーティション粒度」を組み合わせると、「締切までに当日（当時）の分が届くこと」という意味になります。前日分（D-1）を翌朝までに届ける運用では毎日違反になるため、その場合は「パーティションを問わない」を選んでください。
* アセットトリガーの保存前に記録された実体化は、後から設定したトリガーには届きません。取りこぼしはバックフィルで埋めます。
* 実体化の手動記録・定義の編集には、ワークフローの編集権限が必要です。権限がない場合、アセット詳細にはこれらのボタンが表示されません。
* 鮮度ポリシーは、編集権限があればアセット詳細の「品質」タブに「新規ポリシー」や削除のボタンが表示されますが、ポリシーの取得・作成・更新・削除には、さらに鮮度ポリシーの管理権限（「アセット鮮度監視ポリシーの管理」）が必要です。編集権限だけの場合はボタンを押すと「鮮度ポリシーを利用する権限がありません。組織の管理者にお問い合わせください。」と表示されます。同じ警告は、一覧画面右上の「鮮度ポリシー」でも表示されます。

## 詳しい設定（データ担当者向け）

* アセットキーは自由な文字列（255 文字まで）で、ワークフローステップの出力設定やセンサーの作成時に指定します。同じキーを使うと同じアセットとして扱われます。
* パーティションの日付判定では、`2026-08-18` / `20260818` / `2026/08/18/09` / `2026-08-18T09` のような表記を同じ日として扱います。日付として読めないキーは「日付以外のパーティション」として扱われ、鮮度の粒度判定では「当日分ではない」とみなされます。
* 鮮度の「締切」は、直近の締切の 1 つ前の締切以降に実体化があるかで判定します。

## 関連ページ

* [02-3-2 自動処理（ワークフロー）：ステップの種類](/dsv2/workflow-steps)
* [02-3-3 自動処理（ワークフロー）：実行タイミングと変数](/dsv2/workflow-triggers-and-variables)
* [02-3-4 自動処理（ワークフロー）：失敗への備えと運用](/dsv2/workflow-failure-and-operations)
* [02-4 実行履歴](/dsv2/run-history)
* [02-6 データ到着チェック（センサー）](/dsv2/sensors)


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.