Imagen

DataHubでのTeradata Vantageの接続設定

概要

このハウツーでは、DataHub を使用して Teradata Vantage への接続を作成し、テーブルとビューに関するメタデータを使用状況と系統情報とともに取り込む方法を示します。

前提条件

  • Teradata Vantageインスタンスへのアクセス。

    Vantage のテスト インスタンスが必要な場合は、 https://clearscape.teradata.com. で無料でプロビジョニングできます。
  • DataHubがインストールされている。 DataHubクイックスタートガイド を参照してください。 == DataHubの設定

  • DataHubがインストールされている環境にDataHub用のTeradataプラグインをインストールする

    pip install 'acryl-datahub[teradata]'
  • Teradataユーザーを設定し、そのユーザーがディクショナリ テーブルを読み取ることができるように権限を設定する

    CREATE USER datahub FROM <database> AS PASSWORD = <password> PERM = 20000000;
    
    GRANT SELECT ON dbc.columns TO datahub;
    GRANT SELECT ON dbc.databases TO datahub;
    GRANT SELECT ON dbc.tables TO datahub;
    GRANT SELECT ON DBC.All_RI_ChildrenV TO datahub;
    GRANT SELECT ON DBC.ColumnsV TO datahub;
    GRANT SELECT ON DBC.IndicesV TO datahub;
    GRANT SELECT ON dbc.TableTextV TO datahub;
    GRANT SELECT ON dbc.TablesV TO datahub;
    GRANT SELECT ON dbc.dbqlogtbl TO datahub; -- if lineage or usage extraction is enabled
  • プロファイリングを実行する場合は、プロファイリングするすべてのテーブルに対する選択権限を付与する必要があります。

  • Lineageまたは使用状況のメタデータを抽出する場合は、クエリー ログを有効にし、クエリーに適したサイズに設定する必要があります (Teradata がキャプチャするデフォルトのクエリー テキスト サイズは最大 200 文字です)。すべてのユーザーに対して設定する方法の例 :

    -- set up query logging on all
    
    REPLACE QUERY LOGGING LIMIT SQLTEXT=2000 ON ALL;

DataHubにTeradataの接続を追加する

DataHubが実行されている状態で、DataHub GUIを開き、ログインします。 この例では、localhost:9002 で実行されています。

  1. インジェストプラグアイコンをクリックして、新しい接続ウィザードを開始します。

    Ingestionラベル

    「Create new source」を選択します。

    Create New Source
  2. 使用可能なソースのリストをスクロールし、[Other]を選択します。

    Select Source
  3. Teradata への接続を構成し、テーブルと列の系統をキャプチャするか、データのプロファイリングを行うか、使用統計を取得するかなど、必要なオプションを定義するには、Recipeが必要です。 以下は、簡単なRecipeです。ホスト、ユーザー名、パスワードは環境に合わせて変更する必要があります。

    pipeline_name: my-teradata-ingestion-pipeline
    source:
      type: teradata
      config:
        host_port: "myteradatainstance.teradata.com:1025"
        username: myuser
        password: mypassword
        #database_pattern:
        #  allow:
        #    - "my_database"
        #  ignoreCase: true
        include_table_lineage: true
        include_usage_statistics: true
        stateful_ingestion:
          enabled: true

    Recipeをウィンドウに貼り付けると、次のようになります。

    New Ingestion Source
  4. [Next]をクリックして、必要なスケジュールを設定します。

    Set Schedule
  5. [Next]をクリックして[Finish Up]を選択し、接続に名前を付けます。[Advanced]をクリックして、正しい CLI バージョンを設定できるようにします。DataHub による Teradata のサポートは、CLI 0.12.x で利用可能になりました。 最適な互換性を確保するには、最新バージョンを選択することをお勧めします。

    Finish up
  6. 新しいソースを保存したら、「Run」をクリックして手動で実行できます。

    Execute

    実行が成功した後に「Succeeded」をクリックすると、これと同様のダイアログが表示され、DataHub に取り込まれたデータベース、テーブル、ビューが表示されます。

    Ingestion Result
  7. GUI で以下を参照してメタデータを探索できるようになりました。

    1. DataSets は、ロードされたデータセット (テーブルとビュー) のリストを提供します。

      datasets
    2. データベースから取得されたエンティティ

      Entities
    3. 列/フィールド名、データ型、およびキャプチャされている場合の使用法を示すエンティティのスキーマ

      スキーマ表示
    4. Lineageは、テーブルとビューの間でデータがどのようにリンクされているかを視覚的に表現します。

      Lineageの図

まとめ

このハウツーでは、テーブル、ビューのメタデータをリネージおよび使用統計とともにキャプチャするために、DataHub を使用して Teradata Vantage への接続を作成する方法を説明しました。

さらに詳しく

ご質問がある場合、またはさらにサポートが必要な場合は、コミュニティ フォーラムにアクセスしてサポートを受け、他のコミュニティ メンバーと交流してください。
このページは役に立ちましたか?