テーブルエクスプローラー

テーブルエクスプローラーは、フィルター、集計などの機能を内蔵した、強力で手軽に使えるデータ探索ツールです。大規模で複雑なデータを扱う作業を楽にします。

テーブルエクスプローラーはどんな規模のデータセットでも探索できるため、データがどれだけ増えても同じツールを使い続けられます。また、ポイント操作によるフィルターと高度なフィルター機能を備えており、必要なデータを絞り込めます。さらに、PlaidCloud のテーブルやビューがある場所であれば、どこからでもそのテーブルやビューをクリックして、テーブルエクスプローラーで探索できます。完全に統合されているため、データへのアクセスはワンクリックで済みます。

Grid ビューは、データを表形式で表示します。Details ビューは、各列の概要、一意な値の数、すべての列のプロファイリング統計を表示します。

フィルター済みのデータセットから直接データをエクスポートできるほか、フィルターを保存して他のユーザーと共有することもできます。さらに、フィルターと列の設定は、ワークフローの Extract ステップとして直接保存できます。

Grid ビュー

Grid ビューは、データを表形式で表示します。

行数の上限を設定する

デフォルトでは、行数の上限は 5,000 行に設定されています。この値は調整することも、完全に無効にすることもできます。

表示されている行数とデータセット全体のサイズは、テーブルの下部に表示されます。ここには、次の 3 つの重要な情報が含まれます。

適用された行数の上限に基づいて表示されている現在の行数
フィルターを適用した後の、グローバルデータのサイズ
フィルターを適用していないグローバルデータのサイズ

先頭の行またはランダムな行を選択する

行数の上限の隣には、グリッドに表示する行をどのように選ぶかを制御する 先頭 / ランダム のセレクターがあります。

先頭（デフォルト）は、テーブルの最初の行を返します。最も高速な方法で、手早く確認したいときに適しています。
ランダムは、テーブル全体から抽出した高速なランダムサンプルを返すため、プレビューにはテーブルの先頭だけでなく、データ全体の範囲が反映されます。最初の行が代表的でない大きなテーブルで、データ品質をスポットチェックするときに便利です。

ランダムサンプリングはストレージエンジンの組み込みのサンプリング機能を使用するため、非常に大きなテーブルでも高速です。指定した行数を、テーブル全体からランダムに抽出して返します（テーブルの行数が上限より少ない場合は、すべての行を返します）。更新するたびに、異なるサンプルが得られます。このセレクターが適用されるのはグリッドのプレビューのみで、保存済みのビュー、抽出、ダウンロード、報告される行数には影響しません。ランダムを使用するには、行数の上限が有効になっている必要があります。

ローカルソートとグローバルソート

Grid ビューでは、列ヘッダーをクリックして、その列でデータをソートできます。ただし、この方法でソートされるのは、すでに取得されたデータセットだけで、データセット全体に基づくソートではありません。取得したデータにデータセット全体が含まれている場合、この違いは問題になりませんが、データセット全体がブラウザーに表示されている範囲より大きい場合は、期待どおりのソート結果にならないことがあります。

ブラウザーに表示される限られたデータを取得する前に、グローバルなデータセットをソートしたい場合は、Details ビューで各列の上部にある Sort アイコンをクリックして、列にソートを適用できます。グローバルソートを使用すると、複数のソートを、昇順と降順を混在させて適用できるという利点もあります。

クイックリファレンスの列リスト

デフォルトでは、テーブルまたはビューのすべての列が、テーブルエクスプローラーのウィンドウの左側に表示されます。この列リストは、列リストの切り替えボタンで表示と非表示を切り替えられます。

列リストには、次のような、すばやくアクセスできる便利な機能があります。

項目をダブルクリックすると、Grid ビューまたは Details ビューのその列に移動します
表示チェックボックスで、列の表示を制御します
複数選択して右クリックすると、多数の列をまとめて含めたり除外したりできます
データ型のアイコンで、各列のデータ型をすばやく確認できます
列の総数を確認できます

行アクセスの制限

プロジェクトのアーキテクトまたはテナント管理者には、ツールバーの行アクセスボタンから、探索しているテーブルの行アクセスが開きます。テーブルがすでに行を制限している場合は、ボタンにバッジが表示されます。列のファセットメニューにも この列で行を制限… があり、その列を対象に同じ画面が開きます。すでに行を制限している列では、この列で行を制限中 - 編集… と表示されます。

ご自身に付与されたアクセス権によって、グリッドに読み込まれる内容が絞り込まれている場合、ツールバーにアクセス権により行が制限されていますと表示されます。フィルターが適用されるダウンロードを開始するときにも、その旨が表示されます。グリッド、その列のファセット、ダウンロードには、いずれもご自身が閲覧できる行のみが含まれます。制限されたメンバーに表示される内容を参照してください。

Details ビュー

Details ビューは、データを高い視点から効率よく確認できる方法で、ポイント操作ですばやく情報を絞り込むためのツールも備えています。

列のデータと一意な値の数

現在表示に設定されている列がすべて表示されます。列の概要には、件数の多い順に上位 1,000 件の一意な値が表示されます。表示される一意な値の数は、Detailed Rows Displayed の選択で別の値を選ぶと調整できます。

数値の列には、値のリストではなく、最小値、最大値、平均、合計、標準偏差、分散の統計が表示されます。NULL はこれらの統計から除外され、NULL のみを含む列には、代わりに値の件数が表示されます。これは、StarRocks を含むすべてのレイクハウスエンジンで適用されます。

概要の計算に時間がかかりすぎる列には プロファイルがタイムアウトしました と表示され、概要を読み込めない列には プロファイルに失敗しました と表示されます。バッジにカーソルを合わせると理由を確認できます。フィルターに問題がある場合はそこに記載され、PlaidCloud 側の障害の場合は、PlaidCloud チームが追跡に使用できる ID が表示されます。再試行するには、その列の更新ボタンを使用します。

ポイント操作のフィルターを管理する

各列では、列の上部にあるフィルターの切り替えを有効にすると、ポイント操作でフィルターできます。結果のデータに含めたい列内の項目を選択します。複数選択に対応しています。

フィルターを適用した後で、いくつかの項目を削除したり、すべてのフィルターをクリアせずに、その列のフィルターだけをクリアしたりしたい場合があります。その場合は、列のフィルターボタンのドロップダウンを選択して、項目のチェックを外すか、上部のすべてクリアのオプションを選択します。

集計を管理する

Summarize ボタンを On に切り替えると、データを集計できます。Summarize ボタンを有効にすると、各列に適用する集計の種類が表示されます。各列に必要な集計の種類を調整します。

必要な集計の設定が完了したら、データを更新すると、集計が適用されます。

集計の種類の例としては、Min、Max、Sum、Count、Count Distinct があります。

重複しない値を見つける

Distinct ボタンを有効にすると、データを一意なレコードのみに絞り込めます。Distinct ボタンが有効なとき、各列に Distinct チェックボックスが表示されます。データセットに対する一意性を定義しない列のチェックを外します。たとえば、顧客の注文テーブルから一意な顧客の一覧を見つけたい場合は、顧客の注文番号を含めず、顧客の列のみを選択します。

列のプロファイリング統計

データ型にかかわらず、すべての列に、列情報の下部にプロファイリング統計が表示されます。

Vector の列は唯一の例外で、プロファイリングの対象外であり、値のリストも作成されません。最小値、平均、上位の値のリストは、埋め込みについて何も示さず、値のリストは、それぞれ数百個の数値からなる生の配列になってしまうためです。

整数と数値の列には、フィルター済みのデータセット全体で計算された、次の統計が表示されます。

最小値
最大値
平均
標準偏差
合計

数値、テキスト、日付などを問わず、すべての列には、フィルターを適用していないテーブル全体で計算された、次の統計も表示されます。

Null Count (All Rows) - テーブル全体での NULL 値の数
Null % (All Rows) - テーブル全体に対する NULL 値の割合
Blank Count (All Rows) - テキスト列のみ。ブランクとは、トリミング後に空または空白のみになる値のことで、NULL とは区別されます。
Blank % (All Rows) - テーブル全体に対するブランク値の割合
Distinct % of Non-Null (All Rows) - 実際に値を持つ行に対する、重複しない値の割合。NULL は、重複しない値の数と合計の両方から除外されるため、90% が NULL でも、値が入っている部分がすべて一意である列は、10% ではなく 100% と表示されます。

これらの (All Rows) 統計は、AI やサンプリングを使わず、サーバー側で決定的に計算されます。同じ列からは、毎回同じ数値が返されます。行レベルセキュリティが適用されるため、閲覧する権限のある行について計算された統計だけが表示されます。計算には、テーブル全体に対するクエリが 1 回追加で必要になり、ほかの列のファセットと同じ 60 秒の制限が適用されます。そのクエリがタイムアウトしても、グリッドのそのほかの部分には影響しません。

分布の形状

数値の列では、テーブルエクスプローラーは、値がどこに集まっているかだけでなく、どのように分布しているかも報告します。

Skewness (All Rows) - 列の値が平均の片側に偏っているか、平均を中心に均等にバランスしているかを示します。0 に近い値は、値がほぼ対称であることを意味します。強い正または負の値は、列が一方の端に向かって長い裾を引いていることを意味します。これにより、平均と標準偏差だけでは見えない形状がわかります。たとえば、ごく少数の非常に大きな値が平均を押し上げている一方で、列の大部分はそれよりはるかに低い位置にある場合などです。
各数値の列の統計の下にあるヒストグラムは、列の全範囲を 10 個の等幅のバケットに分けて値をグループ化するため、分布の形状がひと目でわかります。バーにカーソルを合わせると、そのバーが対象とする正確な値の範囲と、その範囲に含まれる行数が表示されます。

ほかの (All Rows) 統計と同様に、歪度とヒストグラムも、現在のフィルターに関係なく、常にテーブル全体を対象とします。値が 2 つ未満の列や、まったくばらつきのない列では、意味のある計算ができないため、歪度は表示されません（0 やエラーとして表示されることはありません）。ヒストグラムも、すべてが NULL の列など、計算できる範囲がない列では、同様に表示されません。

データ品質レーダー

テーブルエクスプローラーは、詳しく確認する価値のあるデータを示すために、すべての列に対して 5 つの自動チェックを実行します。

Outliers - 列のほかの値から統計的に大きく外れている数値（平均から標準偏差の 3 倍を超えて離れている値）。
Format - 列のほかの部分で見られる主要なパターンに一致しないテキスト値。たとえば、ほぼすべてが日付で、数個の自由形式のテキストが混在している列などです。このチェックは、ブランクでない値が 100 個以上ある列でのみ実行され、1 つのパターンが明確に優勢（列の値の 95% 超が一致）である場合にのみ、不一致を検出します。
Duplicates - すべての値が一意であるべき、テーブルで宣言された行キーに含まれる列で、値が重複しているもの。このチェックは、行キーが宣言されているテーブルでのみ実行されます。テーブルの更新キーが行キーとして使用されます。
Orphans - ディメンションにリンクされた列で、そのディメンションのどのメンバーとも一致しない値。
Constant - 列のすべての非 NULL 値が同じであること。通常、その列に有用な情報がないことを意味します。

これらのチェックは、上記の (All Rows) 統計と同じく、テーブル全体に対して実行されます。現在のフィルターは影響しません。

何かを検出したチェックがある場合は、Details ビューの列にバッジが直接表示されます。完了できなかったチェックについては、控えめなバッジが表示されます。Actions メニューから Data Quality Radar を開くと、5 つのチェックすべてに対する各列の順位付きサマリーが表示されます。検出されたものだけでなく、問題がなかったチェックや該当しないチェックも含まれます。

各チェックは、検出、問題なし、該当なし、タイムアウト、利用不可の 5 つの結果のいずれかを、それぞれ個別に報告します。チェックが黙ってスキップされることはなく、特定のチェックについて列に結果がない理由を、常に確認できます。

相関

数値の列では、テーブルエクスプローラーは、列の値が、テーブルのほかの数値の列とどの程度連動して動くかも報告します。

Pearson r vs <column> (Complete Cases) - 2 つの列が直線的な関係でどの程度連動して動くかを、-1（完全に逆）から 0（直線的な関係なし）、+1（完全に同じ向き）までの値で示します。
Spearman ρ vs <column> (Complete Cases) - 2 つの列が、直線的な関係かどうかにかかわらず、順位でどの程度連動して動くかを示します。一貫して一緒に上昇するものの、直線ではなく曲線を描くペアは、ピアソンよりもスピアマンで高いスコアになることがあります。
Complete Cases (All Rows) - 上記の係数が実際に計算された行の数。

相関は、Details ビューに現在表示されているほかの数値の列（最大 10 列）に対して計算され、比較している 2 つの列だけでなく、それらすべての数値の列に値がある行のみを使用します。そのため、対象範囲のラベルは (All Rows) ではなく (Complete Cases) になっています。これは、テーブルのより狭いリストワイズの部分集合であり、(All Rows) と呼ぶと、係数が表すものを過大に示すことになるためです。Complete Cases (All Rows) の数自体は、ほかの (All Rows) 統計と同じくテーブル全体に対して測定されるため、現在のフィルターの影響を受けませんが、表示する数値の列を変更すると変わります。

完全なケースの行が 10 行以上あり、かつテーブルの 10% 以上を占める場合を除き、根拠が不十分なまま相関を表示することはせず、相関はまったく表示されません。パートナー列のうち、その列自身の係数を計算できないもの（たとえば、その列にばらつきがない場合）があると、セット全体ではなく、その 1 行だけが除外されます。

データのコピー

PlaidCloud から選択したデータをコピーして、スプレッドシートなどのほかのアプリケーションに貼り付けられると便利な場合があります。

右上のコピーボタンから、データのコピーに関するいくつかのオプションを選択できます。

すべてコピー - すべてのデータをクリップボードにコピーします
選択範囲をコピー - 選択したデータをクリップボードにコピーします
セルをコピー - 1 つのセルの内容のみをクリップボードにコピーします
列をコピー - 列の全内容をクリップボードにコピーします

データのエクスポート

テーブルエクスプローラーのインターフェイスからデータをエクスポートすると、フィルター済みのデータを、表示されている列のみでエクスポートできます。次の形式でエクスポートできます。

Microsoft Excel（xlsx）
CSV（カンマ区切り）
TSV（タブ区切り）
PSV（パイプ区切り）

ダウンロードメニューでは、ブラウザーに表示されている行のみをダウンロードすることもできます。これは、指定した行数の上限に基づきます。

その他のアクション

その他の便利なアクションは、Actions メニューにあります。

抽出ステップとして保存

データを探索するときは、データパイプラインの処理に向けて、どのようにフィルターするかを決める目的であることがよくあります。その場合、高度なフィルターを含む複数のフィルターを適用して、目的の結果に絞り込むことがよくあります。

すべてのフィルター、列、集計、ソートを抽出ステップで再現しようとする代わりに、現在のテーブルエクスプローラーの設定を、新しい抽出ステップとして保存するだけで済みます。

ビューとして保存

上記の、現在のテーブルエクスプローラーの設定を抽出ステップとして保存する場合と同様に、設定をビューとして直接保存することもできます。

これは、データパイプラインを必要としないレポートやその他の下流の処理のために、データの一部を切り出す場合に、特に便利です。

保存済みフィルターを管理する

フィルターの作業が失われることはありません。テーブルエクスプローラーの設定を、保存済みフィルターとして保存できます。保存済みフィルターには、列の表示設定、集計、列のフィルター、高度なフィルター、ソートも含まれます。

フィルターを保存するときに Public チェックボックスをオンにすると、ほかのユーザーが保存済みフィルターを使用できるようにすることもできます。

Actions メニューからは、保存済みフィルターの削除と名前の変更も行えます。

高度なフィルター

ポイント操作の列フィルターを使うと、フィルターをすばやく適用して目的の結果に絞り込めますが、フィルターの条件が複雑で、より高度な指定が必要な場合もあります。

高度なフィルターの領域には、Summarize が有効な場合、集計前のフィルターと集計後のフィルターの両方があります。

データを絞り込むには、有効な Python の式であればどれでも使用できます。詳細と例については、式を参照してください。