Teradata Vantageに適したデータ取り込みソリューションを選択する
概要
今回は、データの取り込みに関するさまざまなユースケースについて概説します。利用可能なソリューションをリストし、各ユースケースに最適なソリューションを推奨します。
ストリーミングを含む大量の取り込み
利用可能なソリューション:
-
Teradata Parallel Transporter API を使用する* データをオブジェクト ストレージにストリームし、 Teradata Native Object Store (NOS) を使用して取り込む。
-
Teradata Parallel Transporter (TPT) のコマンドラインユーティリティを使用する
-
JDBC (Java)、teradatasql (Python)、Node.js ドライバ、ODBC、.NET データ プロバイダなどの Teradata データベース ドライバを使用する。
Teradata Parallel Transport API は、通常、高スループットと最小限の待機時間を提供する最もパフォーマンスの高いソリューションです。1 秒あたり数万行を取り込む必要がある場合、および C 言語の使用に慣れている場合は、これを使用してください。
イベント数が 1 秒あたり数千単位になる場合は、Teradata データベース ドライバを使用してください。JDBC、Python などの最も一般的なドライバで利用可能な Fastload プロトコルの使用を検討してください。
ソリューションがより高い待機時間を許容できる場合、イベントをオブジェクト ストレージにストリームし、NOS を使用してデータを読み取ることが良い選択肢となります。通常、この解決策は最小限の労力で済みます。
オブジェクトストレージからデータを取り込む
利用可能なソリューション:
NOS はすべての Teradata ノードを利用して取り込みを実行できるため、オブジェクト ストレージに保存されたファイルからデータを取り込むには、Teradata NOS が推奨されるオプションです。Teradata Parallel Transporter (TPT) はクライアント側で実行されます。NOS からオブジェクト ストレージへの接続がない場合に使用できます。
ローカルファイルからデータを取り込む
利用可能なソリューション:
TPTは、ローカルファイルからデータをロードするための推奨オプションです。TPT はスケーラビリティと並列処理に関して最適化されているため、利用可能なすべてのオプションの中で最高のスループットを備えています。BTEQ は、取り込みプロセスでスクリプトが必要な場合に使用できます。また、他のすべての取り込みパイプラインが BTEQ で実行されている場合は、 BTEQ を使用し続けることも意味があります。
SaaSアプリケーションからデータを取り込む
利用可能なソリューション:
-
Airbyte、 Precog、 Nexla、 Fivetran などの複数のサードパーティ ツール* SaaS アプリからローカル ファイルにエクスポートし、https://docs.teradata.com/r/Teradata-Parallel-Transporter-User-Guide/June-2022/Introduction-to-Teradata-PT[Teradata Parallel Transporter (TPT),window="_blank"] を使用して取り込む* SaaS アプリからオブジェクト ストレージにエクスポートし、 Teradata Native Object Store (NOS)を使用して取り込む
SaaS アプリからオブジェクト ストレージにエクスポートしてから、 SaaS アプリケーションから Teradata Vantage にデータを移動するには、通常、サードパーティ ツールの方が適しています。データ ソースに対する広範なサポートを提供し、エクスポートやエクスポートされたデータセットの格納などの中間ステップを管理する必要がなくなります。
他のデータベースに保存されているデータを統合クエリー処理に使用する
利用可能なソリューション:
-
他のデータベースからローカル ファイルにエクスポートし、 Teradata Parallel Transporter (TPT) を使用して取り込む* 他のデータベースからオブジェクト ストレージにエクスポートし、 Teradata Native Object Store (NOS) を使用して取り込む
QueryGrid は、異なるシステム/プラットフォーム間で限られた量のデータを移動する場合に推奨されるオプションです。これには、Vantage インスタンス、Apache Spark、Oracle、Presto など内の移動が含まれます。これは、同期する必要があるものが SQL で表現できる複雑な条件で記述されている状況に特に適しています。