将项目迁移到 Lakehouse v2
您可以一次将一个项目从 Lakehouse v1 迁移到 Lakehouse v2。同一工作区中的其他项目在您迁移它们之前会继续运行在 v1 上,因此可以只迁移单个项目,而不影响其他任何项目。
迁移会移动项目的表以及构建在这些表之上的所有内容:查询、表达式、视图、Superset 数据集、计算列、指标和行访问规则。
- 对于可以编辑项目的成员,“工具”菜单中会显示将项目迁移到 Lakehouse v2…。只有项目的架构师才能迁移该项目:启动、计划、取消和撤消迁移都需要项目的架构师权限。
- 您需要拥有项目的架构师权限,并且项目必须处于未锁定状态。
- 您的套餐需要有足够的空间容纳副本。请参阅存储检查。
- 任何能打开项目的用户都可以运行就绪状态检查。
- 请先运行就绪状态检查,并解决它拒绝的所有问题。对无法转换的项目启动迁移,会在中途停止。
- 请预留项目在运行期间不可用的时间,因为运行期间的写入会丢失。
- 如果其他项目通过数据共享读取此项目的表,请先迁移那些项目,或移除该共享。被其他项目通过数据共享读取的项目,会在它们之后迁移。
检查迁移就绪状态
Section titled “检查迁移就绪状态”就绪状态检查会在您做出任何承诺之前报告项目将发生的情况。它不会更改任何内容。
-
打开工具菜单。
-
选择检查迁移就绪状态…。
-
选择项目。
如果项目已经在 Lakehouse v2 上,检查会指出这一点,并说明无需迁移。
报告会将每个区域列为以下状态之一:
| 状态 | 含义 |
|---|---|
| 清除 | PlaidCloud 已扫描该区域,未发现任何问题。 |
| 需要审核 | 某些内容将发生变化,您需要在运行前确认。 |
| 已阻止 | 在问题解决之前,迁移无法启动。 |
| 迁移期间检查 | 该区域在迁移运行时检查,因此不会事先显示为已清除。 |
这些区域包括表、视图、步骤、仪表板、数据共享和容量。每个发现项都附有通俗易懂的说明,并在有建议改写方案时一并显示。
就绪状态检查会拒绝什么
Section titled “就绪状态检查会拒绝什么”| 拒绝项 | 原因 |
|---|---|
| 列的类型在 Lakehouse v2 中没有对应类型 | 迁移会拒绝,而不是悄悄地将该列转为文本。请在项目中更改该列的类型,然后重新运行检查。 |
| 无法解析目标 Lakehouse v2 仓库 | 运行迁移的服务看不到工作区的 v2 Lakehouse。这是管理方面的问题,无法在项目中解决。 |
| 无法确认存储桶的删除保护 | 撤消期限依赖于它,因此没有它迁移就不会启动。 |
JSON 列可以迁移。早期版本曾拒绝迁移它们,现在已支持。
运行开始前,PlaidCloud 会检查您的套餐是否有足够的空间容纳副本。
- 在设有存储上限的套餐上,如果迁移后的副本放不下,运行将被拒绝。正在进行的其他迁移也会计入上限。
- 在按额外存储计费的套餐上,运行会启动,并附带预计超额用量的警告。
在 v2 上试用
Section titled “在 v2 上试用”在 v2 上试用… 会在 Lakehouse v2 上创建项目的私有试用副本,以便您在迁移真正的项目之前检查结果。在试用副本中,计划和传感器处于关闭状态,ERP 过账处于模拟模式。写入 PlaidCloud 之外的步骤(例如 SFTP、电子邮件和 REST 发布)会在您确认之前以警告形式列出。开始试用会创建副本。已有试用的项目会提供打开现有试用和替换试用…。
-
打开工具菜单。
-
选择将项目迁移到 Lakehouse v2…。窗口会列出工作区的迁移运行记录。
-
开始新的运行并选择项目。
-
阅读窗口中显示的就绪状态报告,并确认每个具名的发现项。接受某个发现项仅对该特定条目有效。
-
选择开始迁移,或勾选在计划时间启动、设置时间并选择计划迁移。已计划的迁移会在项目上显示横幅,并且您可以在其启动前取消。启动时,PlaidCloud 会再次检查就绪状态、兼容性、容量和您的权限。
-
启动运行。进度对话框会显示每个表的复制和检查过程。项目中已启用的工作流计划会在运行期间暂停。您可以关闭对话框,之后再从运行列表中重新打开,运行会照常继续。
一旦运行开始将项目切换到 Lakehouse v2,就无法停止。如果切换本身在中途失败,运行会显示请联系支持人员。请勿重试。,而不是提供恢复。请联系支持人员,并保持运行的现状。
运行完成后,项目将绑定到 Lakehouse v2,查询开始使用它,被暂停的计划也会恢复。您在迁移期间编辑或删除的计划会保持您操作后的状态,并在报告中指明。原始的 Lakehouse v1 副本会在撤消期限内保留,但项目无法使用。迁移完成或失败时,您会通过消息和电子邮件收到通知。
失败的迁移会显示失败原因,以及此后对源的写入将会丢失的时间。选择恢复以继续迁移。无法在 Lakehouse v2 上运行的视图会被跳过并列出,而不是中止运行。
迁移之后,为该运行打开变更内容…。它会将每个表列为已复制、已复制但存在具名缺口、已跳过或失败,并附带行数和原因,同时列出被跳过的视图、运行期间在源中创建或删除的表,以及被暂停和恢复的计划。
按周分组会偏移一天
Section titled “按周分组会偏移一天”Lakehouse v2 的每周从星期日开始,而 Lakehouse v1 从星期一开始。
任何按周分组的内容都会相应变化,不会报错,也没有警告。在 v1 上,日期为 6 月 14 日星期日的一行属于从 6 月 8 日星期一开始的那一周;在 v2 上,它属于从 6 月 14 日星期日开始的那一周。
该边界两侧的合计值会发生变化。按周的图表、按周的汇总表和按周分组的报表都会继续正常工作,但显示的数字与之前不同。迁移后,请检查您所依赖的任何按周数字,并预期出现一天的偏移,而不是错误。
不会带过去的内容
Section titled “不会带过去的内容”您的数据会迁移。但一些构建在旧引擎之上的内容,以及列声明方式的某些细节,不会迁移。
| 项目 | 处理方式 |
|---|---|
| 快照历史记录、时间旅行和回溯 | 不会传输。迁移后的表从全新的历史记录开始,因此无法查询迁移之前某个时间点的项目状态。 |
| 表分支和标签 | 现有分支和标签不会传输。 |
VARCHAR(n) 长度限制 |
长度限制被丢弃。文本列变为不受约束的文本,现有值不受影响。 |
| 窄整数宽度 | 小整数类型变为 32 位整数。值不受影响。 |
| 时间戳的小数秒精度 | 已声明的精度被丢弃。 |
| 空间、几何和位图列 | 已迁移,但不在自动值比较范围内,请自行检查。 |
| 二进制、数组和映射列 | 已迁移,但不在自动值比较范围内,请自行检查。 |
| JSON 列 | 迁移时保留其类型。JSON 内部过大而无法精确存储的数字,将以双精度存储并在报告中说明。 |
运行完成后的撤消期限内,原始的 Lakehouse v1 数据会完整保留,但与项目分离。在该期限内,撤消迁移… 可使项目返回 Lakehouse v1。您需要拥有项目的架构师权限。
撤消时会要求您输入项目名称以确认。自切换到 Lakehouse v2 以来对项目所做的所有更改都会丢失。 撤消运行期间会显示进度。如果撤消被拒绝,会指明原因,例如撤消期限已过。
如果迁移后结果看起来不对,可以使用它,但按周的数字除外,它们预计会发生偏移。
撤消期限过后,原始数据将被删除,迁移即成定局。
已经打开的会话在结束之前会继续读取其启动时所用的副本。特别是长期运行的 Panel 应用会话,在重启之前会继续提供旧数据。迁移后请重启长时间运行的会话,以便它们使用 Lakehouse v2。