固定幅のインポート
区切り文字ではなく文字位置で列が定義されたテキストファイルをインポートします。メインフレームやCOBOLの出力でおなじみの形式です。フィールドごとに列の境界（開始位置と長さ）を設定します。
データが区切り形式の解析ではなく固定桁の表示用にレイアウトされている、従来のERPエクスポート、政府への提出書類、銀行取引明細の形式でよく使われます。
固定幅のインポートは、ファイル全体をメモリに読み込むのではなく一時ストレージ経由でストリーミングされるため、非常に大きなファイルでもメモリ不足にならずにインポートできます。
まだ例はありません…
インポートパラメーター
Section titled “インポートパラメーター”
この変換のファイルセレクターでは、PlaidCloud のドキュメントの保存場所にあるファイルを選択してインポートできます。
ディレクトリを選択してインポートすることもできます。その場合、変換の実行時にそのディレクトリ内のすべてのファイルがインポートされます。
ソースアカウント
アクセス権のある PlaidCloud のドキュメントアカウントを選択します。これにより、次の選択でディレクトリやファイルを選べるようになります。
プロジェクト内では、一覧の先頭に Project Default も表示されます。これは、プロジェクトでその時点のデフォルトに設定されているアカウントを表すものです。プロジェクトにデフォルトのアカウントがある場合、新しいステップでは Project Default があらかじめ選択されます。既存のステップは、変更するまで保存済みのアカウントを使い続けます。Project Default のままのステップは、実行時にプロジェクトのデフォルトになっているアカウントに対して実行されます。デフォルトが設定されていない場合、別のアカウントに切り替えることはせず、プロジェクト名を示して実行が失敗します。
検索オプション
検索 オプションを使うと、指定したディレクトリパス以下で一致するすべてのファイルを見つけてインポートできます。多くのファイルを含める必要があるものの、それらがネストされたディレクトリに保存されている場合や、同じディレクトリ内にインポートしたくないほかのファイルと混在している場合に特に便利です。
選択した検索パスが、検索を開始するディレクトリになります。検索処理では、そのディレクトリとサブディレクトリ内で、指定した検索条件に一致するすべてのファイルが検索されます。検索条件がサブディレクトリ内のファイルにも適用できることを確認してください。
検索には次の条件を使用できます。
- 完全一致: 検索テキストと完全に一致するファイル
- 次で始まる: 検索テキストで始まるファイル
- 含む: 検索テキストを含むファイル
- 次で終わる: 検索テキストで終わるファイル
AI アシスタントや REST API では、検索を glob (CO Store*.yxdb のようなワイルドカードパターンを、大文字と小文字を区別せずにファイル名全体と照合) や regex (ファイル名全体が一致する必要がある正規表現) に設定することもできます。正規表現は、(?i) で始まらない限り大文字と小文字を区別します。
ソースファイルパス
特定のファイルやファイルを含むディレクトリをインポートする必要がある場合は、検索を使うよりもファイルやディレクトリを直接選択するほうが適しています。
ファイルまたはディレクトリを選択するには、参照ボタンを使って、上で選択したドキュメントアカウント内のパスを選びます。
変数の置換
検索オプションと、特定のファイル/ディレクトリを指定するオプションのどちらでも、パス、検索テキスト、ファイル名に変数を使用できます。
current_month 変数を使って正しいファイルを動的に指定する例:
legal_entity/inputs/{current_month}/ledger_values.csvターゲットテーブル
ビューには実データが含まれないため、インポートのターゲットに選択できるのはテーブルのみです。
動的オプション
動的オプションでは、変数を含むテキストでテーブルを指定できます。テーブルやビューの参照が指定した変数によって決まる、変数駆動のワークフローを使う場合に便利です。
current_month 変数を使ってターゲットテーブルを動的に指定する例:
legal_entity/inputs/{current_month}/ledger_values静的オプション
特定のテーブルをインポートのターゲットにする場合は、Dynamic ボックスをオフのままにして、ターゲットのテーブルを選択します。
ターゲットのテーブルが存在しない場合は、Create new table ボタンを選択して、目的の場所にテーブルを作成します。
テーブルエクスプローラーは、どのテーブル選択でも常に使用できます。テーブル選択の右側にあるテーブルエクスプローラーボタンをクリックすると、テーブルエクスプローラーのウィンドウが開きます。
非ASCII文字を削除するオプション
このオプションを選択すると、インポート時にASCII以外のコンテンツがすべて削除されます。PlaidCloudはUnicode（UTF-8）を完全にサポートしていますが、実際のファイルにはさまざまなエンコードや不要な文字が含まれていることがあり、処理が難しくなる場合があります。
ファイルの内容がASCIIのみであると想定される場合は、このチェックボックスをオンにすると、インポート処理を円滑に実行できます。
インポート後にファイルを削除するオプション
このオプションを使用すると、インポートが正常に完了した後に、PlaidCloudのドキュメントアカウントからそのファイルを削除できます。
インポート用ファイルが基幹システムから再作成できる場合や、処理済みの元の入力ファイルを保持する必要がない場合に便利です。
削除されるのは、インポートされたファイルのみです。インポート中にスキップされたファイルや警告が発生したファイルは、フォルダーに残ります。
ソースファイルが変更されていない場合に再インポートをスキップするオプション
このオプションがオンの場合、前回の正常な実行以降にソースファイルとステップの設定が変更されていなければ、このステップのワークフロー実行では、ダウンロード、変換、テーブルの再構築を含むインポート全体がスキップされます。これにより、スケジュールされたワークフローが、変更のないソースファイルに対して再実行される際の無駄な処理を避けられます。
ステップは、各ソースファイルをパス、サイズ、最終更新日時（ソースがコンテンツハッシュを提供する場合はそれも）で比較します。ファイルが追加、削除、変更された場合や、ステップの構成が変更された場合は、インポートが通常どおり実行されます。このオプションはデフォルトでオンです。常に再インポートするにはオフにしてください。手動で行う単発のインポートは常に実行されます。
スキップするには、ターゲットテーブルに前回のインポートで読み込まれた行が残っていることも条件になります。テーブルが空になっている場合や、行数を読み取れない場合は、スキップして下流のステップにデータがない状態になることを避けるため、インポートが再度実行されます。
一部のソース（たとえばSFTP）はコンテンツハッシュを提供しないため、その場合の変更の判定材料はファイルのサイズと最終更新日時のみになります。サイズと更新日時が同じままファイルがその場で置き換えられた場合は、未変更と見なされてスキップされます。そのような方法でソースが更新される可能性があるステップでは、このオプションをオフにしてください。
ファイルにはヘッダーがある場合とない場合があるため、PlaidCloudでは、ヘッダーを使用する、ヘッダーを無視する、または列の順序で列の対応を決定する、のいずれかを選択できます。
- ヘッダーなし: ファイルにヘッダーが含まれていません。データマッパーのソースリストを使用して、列の対応を決定します。
- ヘッダーあり - ヘッダーを使用してフィールドリストを上書き: ファイルにヘッダーがあります。指定されたヘッダー名を使用し、データマッパーのソースリストは無視します。
- ヘッダーあり - ヘッダーをスキップして代わりにフィールドリストを使用: ファイルにヘッダーはありますが、無視する必要があります。データマッパーのソースリストで指定されたヘッダー名を使用します。
不要なレコードを含む入力ファイルでは、データを処理する前にスキップする行数を指定できます。表形式のデータに到達する前にスキップしなければならないヘッダーブロックがファイルに含まれている場合に便利です。
列の幅を、カンマまたはスペースで区切って入力します。
| 設定 | 内容 |
|---|---|
| エンコーディング | ファイルの文字セットです。UTF-8（デフォルト）、EBCDIC（米国、cp037）、EBCDIC（国際、cp500）、ラテン1（Latin-1） から選択します。メインフレームのファイルには、EBCDICのコードページを選択します。 |
| スキップするレコード数 | ヘッダーまたはデータの前に、ファイルの先頭でスキップするレコードの数です。 |
| 末尾で除外するレコード数 | トレーラーレコードなど、ファイルの末尾から除外するレコードの数です。 |
| 1 行に 1 レコード | オン（デフォルト）の場合、各行が1つのレコードになります。レコードが改行なしで連続して並んでいるファイルでは、オフにします。その場合、各レコードの長さは列幅の合計になります。 |
| レコード間の文字数 | レコードが1行に1つでない場合に、区切り文字など、各レコードの後でスキップする文字数です。 |
| 空白の除去 | 各値から除去する空白です。先頭と末尾（デフォルト）、末尾のみ、なしから選択します。 |
テーブルデータの選択
Section titled “テーブルデータの選択”データマッパーの設定
データマッパーは、ソースデータの列をターゲットのデータテーブルにマッピングするために使用します。
マッパーの検査と入力
ソースを検査メニューボタンを使うと、ソースからターゲットへ列をマッピングする方法が増えます。
- 両方のマッピングテーブルを入力: ソースデータテーブルのすべての値をターゲットのデータテーブルに反映します。これがデフォルトです。
- ソースマッピングテーブルのみを入力: ソースデータテーブルのすべての値のみをマッピングします。ソース列の構成が変わった既存のワークフローを修正する際に便利です。
- ターゲットマッピングテーブルのみを入力: すべての値をターゲットのデータテーブルのみに反映します。
ソース列とターゲット列のオプションだけでは足りない場合は、次のようにいくつかの方法でターゲットのデータテーブルに列を追加できます。
- すべてを反映は、すでに存在しているかどうかにかかわらず、すべてのソース列をターゲットのデータテーブルに挿入します。
- 選択を反映は、選択したソース列のみを挿入します。
- ターゲット側を右クリックして行を挿入を選択すると、現在選択している行の直上に行を挿入します。
- ターゲット側を右クリックして行を追加を選択すると、ターゲットのデータテーブルの末尾（右端）に行を挿入します。
列の削除
ターゲットのデータテーブルから列を削除するには、対象の列を選択し、右クリックして削除を選択します。
一覧になくなったソース列
ターゲットの行がソース列として指定している列が、ソースデータテーブルの一覧にない場合があります。たとえば、ソースを再度検査した後などです。ステップがそのような行を自動的に削除することはありません。代わりに、列名が警告マーク ⚠ の後ろに赤色で表示され、その上にカーソルを置くと、その列がソース列にないことが示されます。ユニオンなど複数のテーブルを扱うステップでは、各テーブルがそれぞれのソース列に対してチェックされます。
定数、式、または件数 (NULLを含む) の集計を設定した行は、ステップがそのソース列を読み取らないため、フラグが付くことはありません。ソースデータテーブルに列が一覧表示されていない間（たとえば、ソースを初めて検査する前）は、何もフラグが付きません。
フラグが付いた行が残ったままステップを保存すると、古い列が見つかりましたダイアログに、該当する行が所属するタブまたはテーブルごとに表示され、次の3つの選択肢が提示されます。
- すべて削除して保存 — フラグが付いた行を削除してから保存します。
- このまま保存 — ステップをそのまま保存します。
- キャンセル — 保存せずにステップに戻ります。
行を残したまま警告を解除するには、その列をソースデータテーブルに追加し直すか、ソースデータテーブルに一覧表示されている列を選択します。
列のデータ型
ターゲットの各列にはタイプがあります。ソースから反映した列はソース列のタイプを引き継ぎます。手動で追加した行はテキストから始まるため、実際に必要なタイプをタイプで設定します。合計や並べ替えを行う列には数値型や日付型が必要です。テキストはテキストとして並べ替えられ、合計されるためです。
タイプがまったく設定されていない列を含んだままステップを保存しても、ステップは実行されます。タイプは、ステップの開始時に、その列が読み取るソース列から判定されます。読み取り元がない場合はテキストとして扱われます。たとえば、SQL抽出ステップの列は、マッピングされたソースではなく、記述したクエリから決まります。また、同じ列名でタイプが一致しないソースが複数ある場合は、いずれかを推測せずテキストが使われます。推測が外れるとウェアハウスが拒否する変換が生じる可能性がありますが、どんな値もテキストには変換できるためです。
列がどうあるべきかを指定する方法は、引き続きタイプを自分で設定することです。未設定のままにすると、ソース列がたまたまそうであるタイプをそのまま受け入れることになります。
列の順序の変更
ターゲットのデータテーブルの列を並べ替えるには、対象の列を選択します。次のどちらかを使用できます。
- 一括移動の矢印: 右上の矢印から目的の移動オプションを選択します
- コンテキストメニュー: 右クリックして、先頭へ移動、上へ移動、下へ移動、末尾へ移動のいずれかを選択します。
結果を重複のないレコードのみに絞り込む
重複のないオプションのみを返すには、重複排除メニューオプションを選択します。ソースの各列にチェックボックスが表示されます。重複を排除したい列の横にあるチェックボックスをオンにすると、重複のない結果のみが返されます。
状況によっては、代わりに集計の使用を検討することをお勧めします。
重複排除では、最初に見つかった一意のレコードを残し、残りを破棄します。実行間で一貫性が必要な場合は、データに並べ替えを適用することをお勧めします。
集計とグループ化
結果を集計するには、集計メニューオプションを選択します。ターゲットのデータテーブルの各列に選択ボックスが表示されます。列ごとに適切な集計方法を選択します。
ソースを検査で列が入力される際、数値列は、名前が id、customer_id、Order No、CustomerKey のように識別子と読み取れる場合、テーブルでキーに設定されている場合、または結合でキーとして使用されている場合に、合計ではなくグループ化から始まります。
- グループ化
- 合計
- 最小
- 最大
- 最初
- 最後
- 件数
- 件数 (NULLを含む)
- 平均
- 標準偏差
- 標本標準偏差
- 母標準偏差
- 分散
- 標本分散
- 母分散
- 高度な非グループ化
式、クレンジング、定数などのデータマッパーの高度な使い方については、データマッパーの高度な使い方を参照してください。
データフィルター
Section titled “データフィルター”
柔軟性を最大限に高めるため、データフィルターはソースデータとターゲットデータの両方で使用できます。データセットが大きい場合は、ソース側で行を絞り込んでおくと、残りの処理を小さなデータセットに対して実行できるため、特に効果的です。
データのサブセットを選択
このフィルタータイプでは、指定した条件に基づいて、受信するソースデータをフィルター処理できます。
結果データにセカンダリフィルターを適用
このフィルタータイプでは、変換後の結果データに対して、指定した条件に基づくフィルターを適用できます。 変換後の結果にフィルターを適用できるため、複雑な計算、集計、ウィンドウ関数の結果に基づいて行を除外できます。
最終データテーブルのスライス（制限）
行のスライス機能では、範囲と開始位置に基づいて、結果セットの行数を制限できます。
フィルター構文
フィルター構文には Python SQLAlchemy を使用します。これは他の式と同じ構文です。
式の例と式関数については、式のセクションを参照してください。