Import Singer Source ステップ
Import Singer Source ステップ（ステップピッカーではインポート: Singerソースと表示されます）は、Singerソースから1つ以上のストリームを、プロジェクトのテーブルに取得します。Singerソースは、種類がSingerソースの接続で、Singerのtap（Stripe、GitHub、Slack、BigQueryなど、特定のSaaSアプリ、API、データベース用のコネクター）をラップしています。ステップはtapで利用可能なストリームを検出し、インポートするストリームとそれぞれの取り込み先を選択すると、ランナーがデータを抽出してターゲットに読み込みます。
詳しい手順についてはSingerソースガイドを、利用可能なソースとその設定ドキュメントについてはSingerソースカタログを参照してください。
- 接続 （必須） — 種類がSingerソースの接続です。
- 同期モード （必須） — テーブル全体（実行ごとに置換）、増分（新しいデータを追加）、アップサート（キーでマージ） のいずれかです。増分は、tapが増分同期できるストリーム（レプリケーションキーを持つもの）でのみ機能し、ステップは前回の実行の位置から再開します。アップサートは、ストリームのキー列を基準に、実行ごとにターゲットへマージします。
- ストリームを検出 — ランナーでtapのカタログ検出を実行し、提供されるストリームを一覧表示します。
- ストリーム （1つ以上） — 検出された各ストリームについて、含めるためのこのストリームをインポートと、取り込み先のターゲットテーブルを指定します。選択したすべてのストリームにターゲットテーブルが必要です。同期モードがアップサートの場合、選択した各ストリームにはキー列（1行に1つの列名）も必要です。これは行の照合に使用する列で、デフォルトではtapが宣言した主キーが使用されます。
- 検出は独立したジョブとして実行され、コールドスタート時には最大で約3分かかることがあります。結果はキャッシュされるため、再度の検出は即座に完了します。
- テーブル全体は実行ごとにターゲットテーブルを置き換えます。増分は、tapのレプリケーションキーを使って、前回の実行以降に新しくなった行のみを追加します。アップサートは、ストリーム全体を再抽出し、各ストリームのキー列を基準にターゲットへマージします。一致する行は更新され、新しいキーは挿入され、一致しない既存の行は保持されます。ターゲットは初回の実行時に作成されます。キー列がnullの行は一致せず、常に挿入されるため、常に値が存在するキー列を選択してください。
- 選択したストリームが、保存されるセットそのものです。選択を変更するには、再度検出してください。再び現れたストリームは、設定したターゲットテーブルと選択を保持します。
- ソースの認証情報は実行時に接続から読み取られるため、接続でローテーションすれば、その接続を使用するすべてのステップに適用されます。ステップごとの更新は不要です。