プロジェクトを Lakehouse v2 に移行する
プロジェクトを 1 つずつ Lakehouse v1 から Lakehouse v2 に移行できます。同じワークスペース内のほかのプロジェクトは、移行するまで v1 で動作し続けるため、1 つのプロジェクトだけを移行し、ほかには手を加えないでおくことができます。
移行では、プロジェクトのテーブルと、その上に構築されたすべてのもの(クエリ、式、ビュー、Superset データセット、計算列、メトリック、行アクセスルール)が移行されます。
開始する前に
Section titled “開始する前に”- プロジェクトをLakehouse v2に移行… は、プロジェクトを編集できるメンバーのツールメニューに表示されます。プロジェクトを移行できるのは、そのプロジェクトのアーキテクトだけです。移行の開始、スケジュール、キャンセル、元に戻す操作にはすべて、プロジェクトに対するアーキテクトのアクセス権が必要です。
- プロジェクトに対するアーキテクトのアクセス権が必要で、プロジェクトがロックされていない必要があります。
- コピーに必要な容量がご利用のプランにあることが必要です。ストレージの確認を参照してください。
- プロジェクトを開ける人であれば、誰でも準備状況の確認を実行できます。
- 最初に準備状況の確認を実行し、拒否された項目をすべて解決してください。変換できないプロジェクトで移行を開始すると、途中で停止します。
- 実行中の書き込みは失われるため、実行の間はプロジェクトを利用できなくなることを想定してください。
- ほかのプロジェクトがデータ共有を通じてこのプロジェクトのテーブルを読み取っている場合は、それらのプロジェクトを先に移行するか、共有を削除してください。ほかのプロジェクトがデータ共有を通じて読み取っているプロジェクトは、それらの後に移行されます。
移行準備状況を確認する
Section titled “移行準備状況を確認する”準備状況の確認では、何かを確定する前に、プロジェクトに何が起こるかが報告されます。この確認では何も変更されません。
-
ツールメニューを開きます。
-
移行準備状況の確認… を選択します。
-
プロジェクトを選択します。
プロジェクトがすでに Lakehouse v2 上にある場合は、その旨と、移行するものがないことが表示されます。
レポートには、各領域が次のいずれかとして一覧表示されます。
| ステータス | 意味 |
|---|---|
| クリア | PlaidCloud がその領域をスキャンし、何も見つかりませんでした。 |
| 要確認 | 何かが変更されるため、実行の前にその内容を確認して了承します。 |
| ブロック済み | 解決するまで、移行を開始できません。 |
| 移行中に確認 | その領域は移行の実行中にチェックされるため、事前にクリアと表示されることはありません。 |
対象の領域は、テーブル、ビュー、ステップ、ダッシュボード、データ共有、容量です。検出事項にはすべてわかりやすい説明が付き、書き換えの提案がある場合はそれも表示されます。
準備状況の確認で拒否される内容
Section titled “準備状況の確認で拒否される内容”| 拒否の内容 | 理由 |
|---|---|
| Lakehouse v2 に相当する型がない列 | 移行は、その列を黙ってテキストに変換するのではなく、拒否します。プロジェクトで列の型を変更してから、確認を再実行してください。 |
| 移行先の Lakehouse v2 ウェアハウスを解決できない | ワークスペースの v2 レイクハウスが、移行を実行しているサービスから見えていません。これは管理上の問題であり、プロジェクト内で解決できるものではありません。 |
| ストレージバケットの削除保護を確認できない | 元に戻せる期間はこれに依存しているため、削除保護がないと移行を開始しません。 |
JSON 列は移行されます。以前のリリースでは拒否されていましたが、現在はサポートされています。
ストレージの確認
Section titled “ストレージの確認”実行を開始する前に、PlaidCloud はコピーに必要な容量がご利用のプランにあるかどうかをチェックします。
- ストレージ上限があるプランでは、移行後のコピーが収まらない場合、実行が拒否されます。進行中のほかの移行も上限に含まれます。
- 追加ストレージが課金されるプランでは、想定される超過分の警告が表示されたうえで、実行が開始されます。
v2で試す… を使うと、実際のプロジェクトを移行する前に結果を確認できるよう、Lakehouse v2 上にプロジェクトの非公開のトライアル用コピーが作成されます。トライアル用コピーでは、スケジュールとセンサーがオフになり、ERP への転記はシミュレートモードになります。SFTP、メール、REST の POST など、PlaidCloud の外部に書き込むステップは、確認の前に警告として一覧表示されます。トライアルを開始を選択するとコピーが作成されます。すでにトライアルがあるプロジェクトでは、既存のトライアルを開くとトライアルを置き換え… が表示されます。
移行を実行する
Section titled “移行を実行する”-
ツールメニューを開きます。
-
プロジェクトをLakehouse v2に移行… を選択します。ウィンドウに、ワークスペースの移行の実行が一覧表示されます。
-
新しい実行を開始し、プロジェクトを選択します。
-
ウィンドウに表示される準備状況レポートを読み、名前が挙げられた検出事項をそれぞれ確認して了承します。検出事項を了承すると、その特定の項目に対してのみ了承したことになります。
-
移行を開始を選択するか、指定した時刻に開始にチェックを入れて時刻を設定し、移行をスケジュールを選択します。スケジュールされた移行では、プロジェクトにバナーが表示され、開始前であればキャンセルできます。開始時に、PlaidCloud は準備状況、互換性、容量、権限を再度チェックします。
-
実行を開始します。進行状況のダイアログには、各テーブルのコピーとチェックの状況が表示されます。プロジェクトの有効なワークフローのスケジュールは、実行の間、一時停止します。ダイアログを閉じても、実行の一覧から再度開くことができます。どちらの場合も、実行は継続します。
実行によってプロジェクトの Lakehouse v2 への切り替えが始まると、停止することはできません。切り替え自体が途中で失敗した場合、実行には再開ではなく Contact support. Don’t retry. と表示されます。サポートに連絡し、実行はそのままにしておいてください。
実行が完了すると、プロジェクトは Lakehouse v2 にバインドされ、クエリは Lakehouse v2 を使用し始め、一時停止していたスケジュールが復元されます。移行中に編集または削除したスケジュールは、そのままの状態で残り、レポートに名前が記載されます。元の Lakehouse v1 のコピーは、元に戻せる期間の間、プロジェクトからは利用できない状態で保持されます。移行が完了または失敗すると、メッセージとメールで通知されます。
失敗した移行
Section titled “失敗した移行”失敗した移行では、失敗した理由と、その後はソースへの書き込みが失われる時刻が表示されます。再開を選択すると、移行を続行できます。Lakehouse v2 で実行できないビューは、実行を停止させるのではなく、スキップされて一覧表示されます。
移行後は、その実行の変更内容… を開きます。ここには、各テーブルについて、コピー済み、特定の欠落を伴ってコピー済み、スキップ、失敗のいずれかが、行数と理由とともに一覧表示されます。あわせて、スキップされたビュー、実行中にソースで作成または削除されたテーブル、一時停止して復元されたスケジュールも表示されます。
週単位のグループ化が 1 日ずれる
Section titled “週単位のグループ化が 1 日ずれる”Lakehouse v2 では、週が日曜日から始まります。Lakehouse v1 では月曜日から始まっていました。
週単位でグループ化しているものはすべて、エラーも警告もなく、それに応じて変わります。6 月 14 日の日曜日の行は、v1 では 6 月 8 日の月曜日から始まる週に属していました。v2 では、6 月 14 日の日曜日から始まる週に属します。
この境界の前後で、合計が変わります。週単位のグラフ、週単位のサマリーテーブル、週単位でグループ化したレポートは、いずれも引き続き動作しますが、以前とは異なる数値が表示されます。移行後は、信頼している週単位の数値を確認してください。誤りではなく、1 日のずれが生じるものとお考えください。
引き継がれないもの
Section titled “引き継がれないもの”データは移行されます。ただし、旧エンジンの上に構築されたものの一部や、列の宣言の細部の一部は引き継がれません。
| 項目 | 動作 |
|---|---|
| スナップショットの履歴、タイムトラベル、フラッシュバック | 転送されません。移行後のテーブルは新しい履歴から始まるため、移行前の時点のプロジェクトをクエリすることはできません。 |
| テーブルのブランチとタグ | 既存のブランチとタグは転送されません。 |
VARCHAR(n) の長さ制限 |
長さ制限は削除されます。テキスト列は制約のないテキストになります。既存の値には影響しません。 |
| 狭い整数幅 | 小さい整数型は 32 ビット整数になります。値には影響しません。 |
| タイムスタンプの小数秒の精度 | 宣言された精度は削除されます。 |
| 空間、ジオメトリ、ビットマップの列 | 移行されますが、自動の値比較からは除外されます。ご自身で確認してください。 |
| バイナリ、配列、マップの列 | 移行されますが、自動の値比較からは除外されます。ご自身で確認してください。 |
| JSON 列 | 型が保持されたまま移行されます。JSON 内の数値が大きすぎて正確に保存できない場合は、倍精度で保存され、その旨が報告されます。 |
移行を元に戻す
Section titled “移行を元に戻す”実行の完了後、元に戻せる期間の間は、元の Lakehouse v1 のデータがそのまま保持されますが、プロジェクトからは切り離されています。移行を元に戻す… を使うと、その期間内にプロジェクトを Lakehouse v1 に戻せます。プロジェクトに対するアーキテクトのアクセス権が必要です。
元に戻す際は、確認のためにプロジェクト名の入力が求められます。Lakehouse v2 に切り替えてからプロジェクトに加えたすべての変更は失われます。 元に戻す処理の実行中は、進行状況が表示されます。元に戻す操作が拒否された場合は、たとえば元に戻せる期間が終了しているなど、その理由が示されます。
移行後に結果がおかしいと感じた場合に使用してください。ただし、週単位の数値は変わることが想定されているため、対象外です。
元に戻せる期間を過ぎると、元のデータは削除され、移行は確定します。
すでに開いていたセッションは、終了するまで、開始時のコピーを読み取り続けます。特に、長時間維持される Panel アプリケーションのセッションは、再起動するまで古いデータを提供し続けます。移行後は、長時間実行しているセッションを再起動して、Lakehouse v2 を使用するようにしてください。