Kafkaのインポート
1つ以上のApache Kafkaトピックのメッセージを、メッセージごとに1行として、プロジェクトのテーブルに読み込みます。このステップは固定範囲を読み取ります。開始オフセットから終了オフセットまでを読み取り、latest はステップの開始時点での各パーティションの末尾を意味します。ステップの実行中に到着したメッセージは読み取られません。ステップは、Apache Kafka接続を介してKafkaにアクセスします。
ソースとターゲット
Section titled “ソースとターゲット”| 設定 | 必須 | 内容 |
|---|---|---|
| Kafka接続 | はい | 読み取りに使用する接続です。 |
| トピック | どちらか一方 | 読み取るトピックです。1行に1つずつ指定します。 |
| トピックパターン | どちらか一方 | 読み取るトピックを選択する正規表現です。トピックの代わりに使用します。 |
| ターゲットテーブル | はい | メッセージの取り込み先のテーブルです。 |
メッセージ範囲
Section titled “メッセージ範囲”| 設定 | デフォルト | 内容 |
|---|---|---|
| 開始オフセット | earliest |
earliest、latest、またはパーティションごとのオフセットを指定するJSONです（例: {"orders": {"0": 1200, "1": 980}}）。JSONでは、-2 は最も古い位置、-1 は最新の位置を意味します。 |
| 終了オフセット | latest |
latest、または開始オフセットと同じ形式のJSONです。 |
| メッセージ数の上限（0 = すべて） | 0 |
読み取るメッセージの最大数です。0 は、範囲内のすべてのメッセージを読み取ります。 |
| アイドルタイムアウト（秒） | 10 |
新しいメッセージがないまま、この秒数が経過すると読み取りが終了します。 |
| 時間制限（秒） | 10800 |
読み取りを実行できる最長時間です。 |
オフセットには、{name} の形式で記述したワークフロー変数を使用できます。
メッセージの値
Section titled “メッセージの値”| 設定 | 内容 |
|---|---|
| 値の形式 | JSON、テキスト、Avroのいずれかです。 |
| Avroスキーマ（JSON） | メッセージの値のAvroスキーマです。形式がAvroの場合は必須です。 |
| 追加のコンシューマー設定（JSON） | 追加のKafkaコンシューマー設定をJSONオブジェクトで指定します（例: {"fetch.min.bytes": 1}）。PlaidCloudが許可している設定のみ受け付けられます。 |
列マッピング
Section titled “列マッピング”マッピングタブで、少なくとも1つの列をマッピングします。列は、メッセージの構成要素である key、value、topic、partition、offset、timestamp、timestamp_type、headers のいずれか、または解析された値のフィールドをパスで指定して読み取ります。このステップにはソースを検査がないため、列は手動で入力します。