データの読み込み・変換・公開
このチュートリアルには約1時間かかります。終えるころには、CSVをインポートし、いくつかのテーブルステップで変換して、結果を公開する、動作するワークフローが完成します。
作成するもの
Section titled “作成するもの”生の売上CSVを取り込んでクレンジングし、製品の参照テーブルと結合し、派生列を計算して、結果をクリーンなファクトテーブルとして公開するワークフローです。
sales.csv → import → filter → join with products → add columns → publish ↓ products.csv → import- PlaidCloudワークスペース(お持ちでない場合は無料トライアルを開始してください)
- 作業用のプロジェクト(必要に応じてプロジェクトタブから作成してください)
- インポートする2つのCSVファイル。このチュートリアルでは、単純な売上取引ファイルと製品カタログファイルを使います。ご自身のファイルを使うことも、任意のスプレッドシートツールでサンプルデータを作成することもできます
ステップ1:ワークフローを作成する
Section titled “ステップ1:ワークフローを作成する”- プロジェクトを開き、ワークフロータブに切り替えます。
- 新規ワークフローをクリックします。「Sales Cleanup」のようなわかりやすい名前を付けます。
- 作成をクリックします。空のワークフローが一覧に表示されます。
- ワークフローをダブルクリックして、Workflow Explorerを開きます。
ステップ2:売上CSVをインポートする
Section titled “ステップ2:売上CSVをインポートする”- Workflow Explorerで、新しいステップを追加します。
- Import → CSVを選択します(ソースの形式に合うインポートステップでも構いません)。
- ステップの設定で次を指定します。
- ソースファイル — 売上CSVを指定します(アップロードするか、接続済みのドキュメントアカウントから選択します)
- ターゲットテーブル —
sales_rawという名前を付けます - 区切り文字、引用符文字、ヘッダー行 — ファイルが標準的でない場合は調整します
- ステップを実行します。CSVは、プロジェクトの新しいテーブルとして取り込まれます。
テーブルタブで sales_raw を確認します。クリックして開き、列数、サンプル行、データ型など、データが正しいかを確認します。
ステップ3:製品カタログをインポートする
Section titled “ステップ3:製品カタログをインポートする”製品CSVを使ってステップ2を繰り返し、ターゲットを products_raw というテーブルにします。これで、結合に必要な2つの参照テーブルがそろいます。
ステップ4:不要な行を除外する
Section titled “ステップ4:不要な行を除外する”実際の売上データには、NULLの金額、テスト取引、メインのファクトテーブルに含めたくない返金など、欠落や不要なものがあります。フィルターステップを追加して、それらを取り除きます。
- Tables → Table Lookupステップ(またはフィルターができる任意のテーブル変換)を追加します。
- 次のように設定します。
- ソーステーブル:
sales_raw - ターゲットテーブル:
sales_clean - フィルター条件:例:
amount > 0 AND status = 'completed'
- ソーステーブル:
- ステップを実行します。
sales_cleanの行数はsales_rawより少なくなるはずです。
ステップ5:製品カタログと結合する
Section titled “ステップ5:製品カタログと結合する”クレンジング済みの売上行と、カタログの製品詳細を組み合わせます。
- Tables → Table Inner Joinステップを追加します。
- 次のように設定します。
- 左テーブル:
sales_clean - 右テーブル:
products_raw - 結合キー:2つのテーブルを結び付ける列(例:
product_id) - ターゲットテーブル:
sales_enriched
- 左テーブル:
- ステップを実行します。
sales_enriched には、両方のテーブルのすべての列が含まれています。おそらく必要なのは一部の列だけです。それは次で行います。
ステップ6:列を選択して計算する
Section titled “ステップ6:列を選択して計算する”クレンジングでは通常、不要な列を削除し、派生列を計算します。別のテーブルステップを追加します。
- Tables → Table Lookupステップを追加します(ここでは、列の選択と計算に使います)。
- 次のように設定します。
- ソース:
sales_enriched - ターゲット:
sales_final - 保持する列:下流の利用側に必要なサブセット
- 計算列:例:
revenue = amount * price、margin = revenue - cost
- ソース:
- ステップを実行します。
列単位の計算については、式リファレンスで、利用できるすべての関数を説明しています。文字列操作、日付計算、条件ロジック、集計などです。
ステップ7:結果を公開する
Section titled “ステップ7:結果を公開する”sales_final を、ダッシュボードや下流のシステムから利用できるようにします。
- Data → 公開ステップを追加します(またはテーブルで公開オプションを直接使用します)。
- 公開したテーブルを誰が読み取れるかを設定します。通常は、ワークスペースの他のメンバーと、アクセス権を持つ外部システムです。
- ステップを実行します。
公開したテーブルは、適切な権限を持つダッシュボード、BIツール、および外部の利用側から参照できるようになります。
ステップ8:ワークフロー全体を実行する
Section titled “ステップ8:ワークフロー全体を実行する”ワークフローの実行をクリックします(1つのステップだけではありません)。各ステップが順番に実行される間、ログを確認します。CSVのインポートから公開までのパイプライン全体が実行されます。
いずれかのステップでエラーが出た場合は、ステップのエラーへの対処ガイドにデバッグの方法があります。最も多い問題は、結合キーの不良(テーブル間の不一致)と、計算列での予期しないNULL値です。
次のステップ
Section titled “次のステップ”- 配賦モデルを構築する — ドライバーデータを使って、コストを利用側に分配します
- ワークフローガイド — エラー処理、条件、ループ、変数
- ワークフローステップリファレンス — すべてのステップタイプとその機能