Table Upsertステップ
挿入と更新を1つの操作にまとめたものです。照合キーとして指定した1つ以上の列に基づいて動作します。ソースの各行について、ターゲットに一致する行(同じキー値)があればそれを更新し、なければ新しい行を挿入します。
新しいレコードと既存レコードの修正の両方を含む増分データストリームがある場合に使用します。たとえば、売上の更新、従業員レコードの変更、または「常に最新の状態を反映する」シナリオです。照合列は慎重に指定してください。キー値が同じで他の値が異なる行は上書きされるため、キーの選択を誤ると、気づかないうちにデータが破損する可能性があります。
アップサートパラメーター
Section titled “アップサートパラメーター”
ソーステーブルとターゲットテーブルを設定するには、まず ソーステーブル のドロップダウンメニューから、抽出元のデータテーブルを選択します。次に、ターゲットテーブル のドロップダウンから、ターゲットテーブルとして既存のテーブルを選択します。
ステップの実行時
Table Extract、Table Lookup、Table Inner Join、Table Cross Join、Table Outer Join、Table Anti Join、複数テーブル結合、Table Union Distinct、Table Union All、Table Pivot、Table Melt、Table In-Place Delete、Table Upsert、Table Append の各ステップは、実行時、何かを書き込む前に、ソーステーブルを確認します。この確認では、ステップが構築したクエリを、その時点の各ソーステーブルと照合します。
- ステップが読み取る列がテーブルにない場合、テーブルにない、またはステップのソース列にない結合キーがある場合、またはステップが読み取るソーステーブルが構築されていない場合、ステップは停止します。1つのエラーにすべての問題がそれぞれの修正方法とともに示されます。既存のターゲットテーブルは元の状態のまま残り、ステップが作成する必要があったターゲットテーブルは空のままになります。
- ステップが一覧に載せているが読み取らない列がテーブルにもうない場合は、警告が追加されます。ステップはその列なしで実行されます。
- Table Union Distinct と Table Union All は、構築されていないソーステーブルについては例外です。従来どおり、そのテーブルを警告なしで除外し、残りのテーブルをまとめます。ソーステーブルが1つも構築されていない場合は、失敗せずに警告を出して終了します。
ターゲットがビューであるステップはビューを作成するだけなので、一覧に載せている列と結合キーは、ウェアハウスがそのビューの作成を拒否する場合にのみ、そのテーブルと照合して確認されます。それ以外の場合は、構築されていないソーステーブル、またはステップの一覧にない結合キーがある場合にのみステップが停止し、警告は追加されません。
可能な場合、エラーにはテーブルを構築するステップが示され、テーブルに不足している列と名前が近い列(大文字小文字だけが異なる列など)がある場合は、その列も示されます。
ソーステーブルのデータの選択
Section titled “ソーステーブルのデータの選択”
データマッパーを使用して、ソースデータの列をターゲットのデータテーブルにマッピングします。
マッパーの検査と入力
Section titled “マッパーの検査と入力”ソースを検査 メニューボタンを使用すると、ソースからターゲットへ列をマッピングする方法が追加で利用できます。
- 両方のマッピングテーブルを入力: ソースのデータテーブルのすべての値をターゲットのデータテーブルに反映します。これがデフォルトです。
- ソースマッピングテーブルのみを入力: ソースのデータテーブルのすべての値のみをマッピングします。ソースの列構造が変更されたとき、既存のワークフローを変更する場合に便利です。
- ターゲットマッピングテーブルのみを入力: すべての値をターゲットのデータテーブルにのみ反映します。
ソース列とターゲット列のオプションだけでは足りない場合は、いくつかの方法で他の列をターゲットのデータテーブルに追加できます。
- すべてを反映 は、すべてのソース列を、すでに存在するかどうかにかかわらず、ターゲットのデータテーブルに挿入します。
- 選択を反映 は、選択したソース列のみを挿入します。
- ターゲット側を右クリックして 行を挿入 を選択すると、現在選択している行のすぐ上に行を挿入します。
- ターゲット側を右クリックして 行を追加 を選択すると、ターゲットのデータテーブルの末尾(右端)に行を挿入します。
ターゲットのデータテーブルから列を削除するには、対象の列を選択し、右クリックして 削除 を選択します。
列の順序の変更
Section titled “列の順序の変更”ターゲットのデータテーブルで列を並べ替えるには、対象の列を選択します。次のどちらかを使用できます。
- 一括移動の矢印: 右上の矢印から、目的の移動オプションを選択します
- コンテキストメニュー: 右クリックして、先頭へ移動、上へ移動、下へ移動、末尾へ移動 のいずれかを選択します。
結果を重複のないレコードのみに絞り込む
Section titled “結果を重複のないレコードのみに絞り込む”重複のないレコードのみを返すには、重複排除 メニューオプションを選択します。ソースの各列にチェックボックスが表示されます。対応する列の横のボックスをオンにすると、その列に基づいて重複のない結果のみが返されます。
状況によっては、代わりに集計の使用を検討してください。
重複排除の処理では、最初に見つかった一意のレコードが保持され、残りは破棄されます。実行間で一貫性が重要な場合は、データに並べ替えを適用することをお勧めします。
ターゲット列のグリッドには、ターゲット列の名前のすぐ右に 更新キー 列があります。行を識別する列にチェックを入れます。キー値がターゲットにすでにある行と一致するソース行はその行を更新し、それ以外のソース行は挿入されます。
最初はすべての列にチェックが入っているため、キーに含まない列のチェックを外してください。更新キーの設定がない列(入力によって追加されたばかりの列や、設定なしでAPI経由で保存された列)は、キーとして扱われます。少なくとも1つの列にチェックを残す必要があります。
ターゲットテーブルに存在しないターゲット列
Section titled “ターゲットテーブルに存在しないターゲット列”アップサートは、ターゲットテーブルの現在の状態に対して行を更新・挿入し、テーブルに列を追加することはありません。そのため、テーブルにない ターゲット列 があると実行は失敗します。ステップを開いたとき、および別のターゲットテーブルを選択するたびに、フォームはターゲットテーブルの列を読み取ります。その際、テーブル名に含まれる変数には、ワークフローの変数の値が使われます。テーブルにない各 ターゲット列 は、警告マーク ⚠ の後ろに赤色で表示され、その上にカーソルを置くと 列「region」はターゲットテーブルにありません。 と表示されます。名前は大文字と小文字を区別せずに比較されるため、Region は region と一致します。同じマークは、たとえばソースを再度検査した後など、ソース列の一覧に含まれなくなった ソース列 にも付き、その場合は 列「region」はソース列にありません。 と表示されます。
ターゲットテーブルがまだ存在しない間(実行時にマッピングから作成されるため)や、その列を読み取れない間は、何もマークされません。マッピングに含まれないテーブルの列はマークされませんが、保存時のチェック内容で説明しているとおり、サーバーはステップの保存を拒否します。
このようにマークされた ターゲット列 を含むステップを保存すると、古い列が見つかりました ダイアログが開き、次の行は、ステップで使用できない列を指定しています: に続けて、マークされた行が 列 の下に一覧表示されます。ダイアログの末尾には ターゲットテーブルにない列をテーブルに追加するか、その行を削除するまで、ステップを保存できません。 と表示されます。選択肢は次の2つです。
- すべて削除して保存 — マークされたすべての行を削除し、それらの列がロードされないようにしてから保存します。
- キャンセル — 保存せずにステップに戻ります。
既存のターゲットテーブルにない列を指定するマッピングはサーバーが保存を拒否するため、このまま保存 はありません。行を残すには、その列をターゲットテーブルに追加してから、もう一度ステップを保存します。例外は {year}/Customers のように変数で指定されたターゲットテーブルです。この場合、サーバーはそのチェックを実行時に任せるため、ダイアログには引き続き このまま保存 が表示されます。行が ソース列 のみを理由にマークされている場合、ダイアログには すべて削除して保存、このまま保存、キャンセル が表示されます。
ソースのデータフィルター
Section titled “ソースのデータフィルター”
柔軟性を最大限に高めるため、データフィルターはソースデータとターゲットデータの両方で使用できます。データセットが大きい場合は、ソース側で行を絞り込んでおくと、残りの処理を小さなデータセットに対して実行できるため、特に効果的です。
データのサブセットを選択
このフィルタータイプでは、指定した条件に基づいて、受信するソースデータをフィルター処理できます。
結果データにセカンダリフィルターを適用
このフィルタータイプでは、変換後の結果データに対して、指定した条件に基づくフィルターを適用できます。 変換後の結果にフィルターを適用できるため、複雑な計算、集計、ウィンドウ関数の結果に基づいて行を除外できます。
最終データテーブルのスライス(制限)
行のスライス機能では、範囲と開始位置に基づいて、結果セットの行数を制限できます。
フィルター構文
フィルター構文には Python SQLAlchemy を使用します。これは他の式と同じ構文です。
式の例と式関数については、式のセクションを参照してください。
保存時のチェック内容
Section titled “保存時のチェック内容”- 更新キーが少なくとも1つあること。 ない場合、保存は At least one target column must be marked as Update Key. というメッセージで拒否されます。
- マッピングが既存のターゲットテーブルと一致していること。 ターゲットテーブルがすでに存在する場合、ステップはそのテーブルのすべての列をマッピングし、テーブルにない列をマッピングせず、各列にテーブルの型を指定する必要があります。これにより、アップサートでテーブルの列がデータごと削除されたり、列の型が変更されたりすることはありません。数値と通貨は同じ型として扱われます。拒否メッセージには、それぞれの相違点が示されます。たとえば The target columns must match the existing target table ‘customers’. The table has columns the step doesn’t map: region. のようになります。まだ存在しないターゲットテーブル、または変数で指定されたターゲットテーブルは、ステップの実行時にチェックされます。テーブルにない列は保存前に 列 タブでマークされ、テーブルが変数で指定されていない限り、保存時にはその行を削除する選択肢のみが提示されます。ターゲットテーブルに存在しないターゲット列を参照してください。
- 空のマッピングは自動的に入力されます。 ソーステーブルを選択済みで、ソース列またはターゲット列がない状態で保存すると、両方のマッピングテーブルを入力 を実行した場合と同様に、空の側がソースから入力されます。