连接实时数据源
约 30 分钟 · 一个连接、一张已加载的表、一个计划刷新
其他教程都从您上传的 CSV 开始。真实的数据通常存放在别处，例如数据库、数据仓库、SaaS 应用或云存储，而您希望 PlaidCloud 直接读取它，而不是读取过时的导出文件。本教程将连接其中一个系统，把它的数据加载到项目表中，预览结果，并设置刷新，使该表自动保持最新。
您将完成四件事：创建连接、通过工作流步骤加载数据、预览数据，以及计划刷新。每一件事都对应 PlaidCloud 的一个构建块，无论连接什么系统，流程都是一样的。
您将构建的内容
Section titled “您将构建的内容”一张项目表，它会从外部源自动填充，并按计划重新读取，无需手动重新上传。
- 一个 PlaidCloud 工作区（如果没有，请开始免费试用）
- 一个用于操作的项目，以及其中的一个工作流（在工作流选项卡中创建，参见创建工作流）
- 所连接数据源的凭据，例如数据库主机和登录名、API 令牌、云存储密钥，或该系统使用的其他凭据
步骤 1：选择连接器
Section titled “步骤 1：选择连接器”PlaidCloud 通过专用的连接器访问每一类外部系统，连接器了解该提供商的身份验证方式和协议。请在连接器参考中找到您的连接器，类别包括：
| 类别 | 示例 |
|---|---|
| 数据库和数据湖 | PostgreSQL、SQL Server、Snowflake、BigQuery、Databricks、Redshift、Iceberg、Delta Lake |
| REST / SaaS | Salesforce、NetSuite、Workday、QuickBooks、Stripe |
| ERP 系统 | SAP ECC、S/4HANA、Oracle EBS/Fusion、Infor |
| 云、Google、协作 | 云服务、Google Sheets/BigQuery、Slack、Microsoft Teams |
| Singer 源 | 130 多个基于 tap 的源，包括 Stripe、GitHub、HubSpot 等 |
| Git 提供商 | GitHub、GitLab、Bitbucket，以及托管的 PlaidCloud Git |
没有专用连接器？请使用通用连接器。 对于没有专属条目的服务，通用 REST 连接可访问任何 HTTP API。请注意，每个连接器所需的确切字段名称都在其参考页面中。
本教程以 Singer 源作为具体示例，因为它以最少的环节端到端地加载数据。数据库或云存储连接器遵循同样的三个动作：连接、导入步骤、目标表，只是字段因系统而异。
步骤 2：创建连接
Section titled “步骤 2：创建连接”连接是已保存的配置，一次性保存端点和凭据，这样每个工作流步骤都可以按名称重复使用。
- 打开 Tools > Connections。
- 单击工具栏中的新建连接，然后从菜单中选择您的系统。
- 填写连接表单。选项卡因类型而异，但通常需要设置：
- 连接配置（REST 则为连接详细信息）：连接的名称、可选的备注、主机/端口/数据库（或主机/身份验证类型）、设为活动的用法开关，以及安全模型。
- 凭据：在数据库连接的身份验证凭据分组中，或在 REST 连接专用的身份验证选项卡中。
- SSL 配置 / SSH 配置：如果数据源需要，请启用加密或通过跳板主机建立隧道。
- 单击创建。该连接会出现在列表中，所有者为您。
安全模型决定还有谁可以使用它，范围从私有（仅所有者）到所有工作区成员。完整的逐字段说明以及如何授予访问权限，参见创建和管理连接。
机密信息只可写入。 重新打开已保存的连接时，密码和令牌字段显示为空；保存时将其留空会保留已存储的值。仅在需要更改时才重新输入。
一个连接，多个环境。 单个连接可以为每个环境保存不同的配置，例如在同一名称下保存开发主机和生产主机，并通过工具栏中的环境选择器进行选择。如果之后要在多个环境之间推广同一个工作流，请现在就设置好。
步骤 3：测试连接
Section titled “步骤 3：测试连接”在此基础上继续构建之前，先确认 PlaidCloud 确实能够访问数据源。
- 请先保存连接，因为测试针对的是已存储的配置，而不是未保存的修改。
- 带有 SSH 的数据库连接在其 SSH 配置选项卡中提供隧道测试。
- 通用 REST 连接有一个测试选项卡，可通过已保存的连接发起临时请求。
如果测试失败，通常的原因是主机或端口有误、防火墙不允许 PlaidCloud 的出站访问，或者凭据需要重新输入（请记住机密信息读回时为空）。
步骤 4：将数据加载到表中
Section titled “步骤 4：将数据加载到表中”数据通过工作流导入步骤进入项目，该步骤引用您的连接并写入目标表。视图不能作为导入目标，因为表保存的是物理行。
以 Singer 源为例：
- 双击工作流，在 Workflow Explorer 中打开它。
- 添加一个步骤并选择导入：Singer 源。编辑器打开后有一个源选项卡和一个流选项卡。
- 在源选项卡上，选择您的连接，选取同步模式（见步骤 6），然后单击发现流。发现在后台执行引擎上运行，首次可能需要大约三分钟。
- 在流选项卡上，打开所需的流，勾选导入此流，并设置其目标表，即行要加载到的表。
- 保存该步骤并运行。各行将加载到目标表中。
该步骤存储的是对连接的引用，而不是其凭据的副本。 每次运行都会在运行时读取连接的当前凭据，因此轮换令牌时，只需在连接上更新一次，每个步骤在下次运行时都会采用新令牌。
对于数据库或云存储连接器，导入步骤有所不同，但流程完全一致：指向连接，指定目标表，运行。连接器参考链接了每个连接器所用的具体步骤，工作流指南介绍了如何构建和运行步骤。
步骤 5：预览已加载的数据
Section titled “步骤 5：预览已加载的数据”在 PlaidCloud 显示表或视图的任何位置，单击它都会打开表资源管理器，因此从表选项卡出发，一次单击即可验证导入。
- 网格视图显示各行（默认限制为 5,000 行）。前几行 / 随机选择器控制显示哪些行，切换到随机可对大表进行质量抽查，而不是只看前几行。
- 详细信息视图汇总每一列：唯一值计数，以及数值列的最小值/最大值/平均值/求和等统计信息。
- 如果某一列加载后类型有误，应使用工作流步骤中的列映射器来修正，而不是在这里。
检查行数和一些样本值是否与您预期的数据源一致。如果一致，说明连接和导入工作正常。
步骤 6：设置刷新
Section titled “步骤 6：设置刷新”一次性导入只是快照。要使表保持最新，请选择每次运行如何协调新数据，然后为运行设置计划。
每次运行如何协调：在导入步骤上设置。对于 Singer 源，同步模式如下：
| 同步模式 | 每次运行的行为 | 适用情形 |
|---|---|---|
| 整表（每次运行替换） | 重新提取全部内容并替换目标表 | 数据量小或完全刷新的源 |
| 增量（追加新数据） | 仅提取自上次运行以来新增的行并追加 | 带有复制键（更新时间或递增 ID）的源 |
| Upsert（按键合并） | 重新提取该流并按键列合并：更新匹配的行，插入新键，保留其余行 | 现有记录会变化且希望每个键只有一行的源 |
其他连接器提供各自的等效模式，原则相同：替换、追加或合并。
运行何时发生：为工作流设置计划，使其自动重新运行。在计划事件中设置定期运行；此后该表按该频率刷新，无需手动操作。您也可以随时手动运行工作流以立即刷新。
选择始终存在的键列（Upsert）。 Upsert 按精确的键值匹配行，空键永远不会匹配，空键的行每次运行都会被插入并不断累积。请使用数据源始终会填充的列。
可选：发布表
Section titled “可选：发布表”如果仪表板、PlaidXL 或外部 BI 工具将使用此表，请为其指定已发布的报表名称，使其有别于中间表。在表选项卡上右键单击该表并选择 Set Published Table Reporting Name，参见发布表。只有已发布的名称才能到达下游工具。