VantageからSageMakerのAPIを実行する方法

データはTeradata Vantage上に存在しAmazon SageMakerはモデル定義とその後のスコアリングの両方に使用されます。このユースケースではTeradataはAmazon S3環境にデータを提供し、Amazon SageMakerがモデル開発のためにトレーニングおよびテストデータセットを利用できるようにします。TeradataはさらにAmazon S3を通じてAmazon SageMakerによるその後のスコアリングのためにデータを利用できるようにします。このモデルではTeradataはデータリポジトリのみとなります。

データはTeradata Vantage上に存在しAmazon SageMakerはモデル定義に使用され、Teradataはその後のスコアリングに使用されます。このユースケースでは、TeradataはAmazon S3環境にデータを提供しAmazon SageMakerはモデル開発のためにトレーニングおよびテストデータセットを消費できるようにします。Teradataは、Amazon SageMakerのモデルをTeradataのテーブルにインポートしTeradata Vantageでスコアリングを行う必要があります。このモデルではTeradataはデータリポジトリでありスコアリングエンジンでもあります。

Amazon SageMakerコンソールに移動しNotebookインスタンスを作成します。Notebookインスタンスを作成する方法については、 Amazon SageMaker 開発者ガイド を参照してください。

Notebookのインスタンスを開きます。

New → conda_python3 をクリックして新規ファイルを起動します。

Teradata Pythonライブラリをインストールします。

!pip install teradataml

新しいセルに追加のライブラリをインポートします。

import teradataml as tdml
from teradataml import create_context, get_context, remove_context
from teradataml.dataframe.dataframe import DataFrame
import pandas as pd
import boto3, os

新しいセルで、Teradata Vantageに接続します。<hostname>、 <database user name>、 <database password> はVantageの環境にあわせて置き換えてください。

create_context(host = '<hostname>', username = '<database user name>', password = '<database password>')

TeradataML DataFrame APIを使用して学習用データセットが存在するテーブルからデータを取得します。

train_data = tdml.DataFrame('table_with_training_data')
trainDF = train_data.to_pandas()

ローカルファイルにデータを書き込みます。

trainFileName = 'train.csv'
trainDF.to_csv(trainFileName, header=None, index=False)

Amazon S3にファイルをアップロードします。

bucket = 'sagedemo'
prefix = 'sagemaker/train'

trainFile = open(trainFileName, 'rb')
boto3.Session().resource('s3').Bucket(bucket).Object(os.path.join(prefix, localFile)).upload_fileobj(trainFile)

左メニューの Training の下にある Training jobs を選択し、 Create training job をクリックします。

トレーニングジョブの作成 ウィンドウで、ジョブ名 (例: xgboost-bank ) を入力しIAMロールの 新しいロールを作成 します。Amazon S3 バケットに Any S3バケット 、 ロールの作成 に

Create training job ウィンドウに戻りアルゴリズムとして XGBoost を使用します。

インスタンスタイプはデフォルトの ml.m4.xlarge、インスタンスあたりの追加ストレージボリュームは30GBを使用します。これは短いトレーニングジョブで10分以上はかからないはずです。

以下のハイパーパラメータを入力しそれ以外はデフォルトのままにしてください。

num_round=100
silent=0
eta=0.2
gamma=4
max_depth=5
min_child_weight=6
subsample=0.8
objective='binary:logistic'

Input data configuration には学習データを保存したAmazon S3バケットを入力します。Input modeは File です。Content typeは csv です。S3 location はファイルのアップロード先です。

Output data configuration には出力データを保存するパスを入力します。

他はデフォルトのまま「トレーニングジョブの作成」をクリックします。トレーニングジョブの設定方法の詳細は 、「Amazon SageMaker 開発者ガイド」に記載されています。