跳转到内容

将项目迁移到 Lakehouse v2

您可以一次将一个项目从 Lakehouse v1 迁移到 Lakehouse v2。同一工作区中的其他项目在您迁移它们之前会继续运行在 v1 上,因此可以只迁移单个项目,而不影响其他任何项目。

迁移会移动项目的表以及构建在这些表之上的所有内容:查询、表达式、视图、Superset 数据集、计算列、指标和行访问规则。

  • 对于可以编辑项目的成员,“工具”菜单中会显示将项目迁移到 Lakehouse v2…。只有项目的架构师才能迁移该项目:启动、计划、取消和撤消迁移都需要项目的架构师权限。
  • 您需要拥有项目的架构师权限,并且项目必须处于未锁定状态。
  • 您的套餐需要有足够的空间容纳副本。请参阅存储检查。
  • 任何能打开项目的用户都可以运行就绪状态检查。
  • 请先运行就绪状态检查,并解决它拒绝的所有问题。对无法转换的项目启动迁移,会在中途停止。
  • 请预留项目在运行期间不可用的时间,因为运行期间的写入会丢失。
  • 如果其他项目通过数据共享读取此项目的表,请先迁移那些项目,或移除该共享。被其他项目通过数据共享读取的项目,会在它们之后迁移。

就绪状态检查会在您做出任何承诺之前报告项目将发生的情况。它不会更改任何内容。

  1. 打开工具菜单。

  2. 选择检查迁移就绪状态…。

  3. 选择项目。

如果项目已经在 Lakehouse v2 上,检查会指出这一点,并说明无需迁移。

报告会将每个区域列为以下状态之一:

状态 含义
清除 PlaidCloud 已扫描该区域,未发现任何问题。
需要审核 某些内容将发生变化,您需要在运行前确认。
已阻止 在问题解决之前,迁移无法启动。
迁移期间检查 该区域在迁移运行时检查,因此不会事先显示为已清除。

这些区域包括表、视图、步骤、仪表板、数据共享和容量。每个发现项都附有通俗易懂的说明,并在有建议改写方案时一并显示。

拒绝项 原因
列的类型在 Lakehouse v2 中没有对应类型 迁移会拒绝,而不是悄悄地将该列转为文本。请在项目中更改该列的类型,然后重新运行检查。
无法解析目标 Lakehouse v2 仓库 运行迁移的服务看不到工作区的 v2 Lakehouse。这是管理方面的问题,无法在项目中解决。
无法确认存储桶的删除保护 撤消期限依赖于它,因此没有它迁移就不会启动。

JSON 列可以迁移。早期版本曾拒绝迁移它们,现在已支持。

运行开始前,PlaidCloud 会检查您的套餐是否有足够的空间容纳副本。

  • 在设有存储上限的套餐上,如果迁移后的副本放不下,运行将被拒绝。正在进行的其他迁移也会计入上限。
  • 在按额外存储计费的套餐上,运行会启动,并附带预计超额用量的警告。

在 v2 上试用… 会在 Lakehouse v2 上创建项目的私有试用副本,以便您在迁移真正的项目之前检查结果。在试用副本中,计划和传感器处于关闭状态,ERP 过账处于模拟模式。写入 PlaidCloud 之外的步骤(例如 SFTP、电子邮件和 REST 发布)会在您确认之前以警告形式列出。开始试用会创建副本。已有试用的项目会提供打开现有试用和替换试用…。

  1. 打开工具菜单。

  2. 选择将项目迁移到 Lakehouse v2…。窗口会列出工作区的迁移运行记录。

  3. 开始新的运行并选择项目。

  4. 阅读窗口中显示的就绪状态报告,并确认每个具名的发现项。接受某个发现项仅对该特定条目有效。

  5. 选择开始迁移,或勾选在计划时间启动、设置时间并选择计划迁移。已计划的迁移会在项目上显示横幅,并且您可以在其启动前取消。启动时,PlaidCloud 会再次检查就绪状态、兼容性、容量和您的权限。

  6. 启动运行。进度对话框会显示每个表的复制和检查过程。项目中已启用的工作流计划会在运行期间暂停。您可以关闭对话框,之后再从运行列表中重新打开,运行会照常继续。

一旦运行开始将项目切换到 Lakehouse v2,就无法停止。如果切换本身在中途失败,运行会显示请联系支持人员。请勿重试。,而不是提供恢复。请联系支持人员,并保持运行的现状。

运行完成后,项目将绑定到 Lakehouse v2,查询开始使用它,被暂停的计划也会恢复。您在迁移期间编辑或删除的计划会保持您操作后的状态,并在报告中指明。原始的 Lakehouse v1 副本会在撤消期限内保留,但项目无法使用。迁移完成或失败时,您会通过消息和电子邮件收到通知。

失败的迁移会显示失败原因,以及此后对源的写入将会丢失的时间。选择恢复以继续迁移。无法在 Lakehouse v2 上运行的视图会被跳过并列出,而不是中止运行。

迁移之后,为该运行打开变更内容…。它会将每个表列为已复制、已复制但存在具名缺口、已跳过或失败,并附带行数和原因,同时列出被跳过的视图、运行期间在源中创建或删除的表,以及被暂停和恢复的计划。

Lakehouse v2 的每周从星期日开始,而 Lakehouse v1 从星期一开始。

任何按周分组的内容都会相应变化,不会报错,也没有警告。在 v1 上,日期为 6 月 14 日星期日的一行属于从 6 月 8 日星期一开始的那一周;在 v2 上,它属于从 6 月 14 日星期日开始的那一周。

该边界两侧的合计值会发生变化。按周的图表、按周的汇总表和按周分组的报表都会继续正常工作,但显示的数字与之前不同。迁移后,请检查您所依赖的任何按周数字,并预期出现一天的偏移,而不是错误。

您的数据会迁移。但一些构建在旧引擎之上的内容,以及列声明方式的某些细节,不会迁移。

项目 处理方式
快照历史记录、时间旅行和回溯 不会传输。迁移后的表从全新的历史记录开始,因此无法查询迁移之前某个时间点的项目状态。
表分支和标签 现有分支和标签不会传输。
VARCHAR(n) 长度限制 长度限制被丢弃。文本列变为不受约束的文本,现有值不受影响。
窄整数宽度 小整数类型变为 32 位整数。值不受影响。
时间戳的小数秒精度 已声明的精度被丢弃。
空间、几何和位图列 已迁移,但不在自动值比较范围内,请自行检查。
二进制、数组和映射列 已迁移,但不在自动值比较范围内,请自行检查。
JSON 列 迁移时保留其类型。JSON 内部过大而无法精确存储的数字,将以双精度存储并在报告中说明。

运行完成后的撤消期限内,原始的 Lakehouse v1 数据会完整保留,但与项目分离。在该期限内,撤消迁移… 可使项目返回 Lakehouse v1。您需要拥有项目的架构师权限。

撤消时会要求您输入项目名称以确认。自切换到 Lakehouse v2 以来对项目所做的所有更改都会丢失。 撤消运行期间会显示进度。如果撤消被拒绝,会指明原因,例如撤消期限已过。

如果迁移后结果看起来不对,可以使用它,但按周的数字除外,它们预计会发生偏移。

撤消期限过后,原始数据将被删除,迁移即成定局。

已经打开的会话在结束之前会继续读取其启动时所用的副本。特别是长期运行的 Panel 应用会话,在重启之前会继续提供旧数据。迁移后请重启长时间运行的会话,以便它们使用 Lakehouse v2。