井上 研一 AWSのre:Invent 2018がラスベガスで行われているようで、私は日本国内からですが注視しています。というのは、AWS関連のお仕事も、いまやっているからで･･･。
まず、この辺の記事から見てみましょう。
ストレージサービス
ストレージでは、「データがビジネスの石油」との認識が企業に広がり、増大の一途をたどるデータへの対応にますます追われているとした。AWSはS3ストレージを中核に40以上のサービスを既に展開し、オブジェクトストレージでは、複数リージョンによる「アベイラビリティゾーン」を使った高可用なデータレイクの構築においてトップクラスにあるとJassy氏は主張する。
ここでは、主に3つの新機能「Glacier Deep Archive」「Amazon FSx for Windows File Server」「Amazon FSx for Lustre」を発表した。
データを蓄積するためのサービスとしてS3を中心とするAWSのサービスはデファクトスタンダートと言って良いでしょう。この3つの新サービスのうち、注目したいのはGlacier Deep Arvhiceです。GlacierはS3に格納したデータのうち、テープバックアップ用途のようなほとんど使わないが取っておくようなものに適した、データ取り出しは面倒ながら安価なサービスです。そのデータを機械学習に活用するためのサービスがGlacier Deep Archiveのようです。
機械学習サービス
いままで、AWSの機械学習サービスは古くからあるAmazon MLのほか、RekognitionやPollyなどのコグニティブAPI、さらに昨年から提供され始めたSageMakerといったサービスがあります。また、EC2でもディープラーニングに適したGPUインスタンスの提供などが行われています。
新機能では、EC2のインスタンスにGPUを使った推論実行の高速化を追加できる「Amazon Elastic Inference」や、独自設計の推論実行チップ「AWS Inferentia」を発表。さらにインフラ上で利用するSageMakerの新機能として、画像などによる学習データへのラベル付けを自動的に行う「Amazon SageMaker Ground Truth」を発表した。また、ユーザーが自ら開発した学習モデルを他社に販売できるマーケットプレース「AWS Marketplace for Machine Learning」も開設する。
今年も魅力的なサービスがいくつか増えるようです。
Elastic Inferenceについては、こちらの記事で詳しく説明されています。
AWSのCEO Andy Jassyは、今朝のAWS re:Inventのステージでこう述べた: “従来のP3インスタンス（GPU常備のインスタンス）では通常、GPUの利用率がせいぜい10%から30%ぐらいで、エラスティックな推論用としては無駄が多い。それだけの費用やGPUを、無駄に使うべきではない。Amazon Elastic Inferenceでは、もっと費用効率の良い方法で推論エンジンを動かせるから、きわめて画期的なサービスだ”。
つまり、EC2のGPUインスタンスだとGPUが常時稼働できる状態なので、実際にはGPUを使用していない状態でも課金は変わらないものの、Elastic Inferenceでは実際にGPUを使用している場合のみ課金されるという理解で良さそうです。Elastic InferenceはSageMaker上で動作させるNotebookのインスタンスや、モデル完成後にデプロイするエンドポイント用としても使用できるとのこと。
SageMakerは、Notebookを使ったモデルの構築から、学習、デプロイといった一連の機械学習ワークフローを提供していますが、SageMaker Ground Truthは学習データへのラベル付けを自動で行うということなので、SageMakerのワークフローにおけるサポート機能の追加という位置づけでしょう。教師データ（Ground Truth）の作成は基本的には人手で行う作業でコストがかかることから、それが自動化できるなら魅力があります。おそらく、半教師あり学習のような手法を用いるのではないでしょうか。
機械学習サービス（学習アルゴリズムの標準サービス化）
ZDNetの記事に戻って･･･
Amazon自身が開発、利用している学習アルゴリズムを標準サービス化したレコメンドエンジン「Amazon Personalize」や時系列予測機能「Amazon Forecast」を発表。ユーザーが自前のデータを両サービスに投入するだけで、特別な知識を使うことなく、Amazonのノウハウに基づくレコメンドや予測ができるという。
これは非常に魅力的なサービスです。SageMakerはパワフルですがモデルの構築は自ら行う必要があり、Amazon MLはCSVデータを入れるだけという簡単さですが学習アルゴリズムについては一般的な回帰や分類に限られていました。新たに発表されたAmazon自身が利用している学習アルゴリズムをサービス化したとなると、使い道さえマッチすれば、より高いパフォーマンスのモデルが構築できる可能性があります。
IBM WatsonやMicrosoft Azureは、コグニティブサービスで独自モデルを構築できる学習アルゴリズムの提供を行っていますが（画像認識のWatson Visual RecognitionやAzure Custom Visionなど）、Amazonはそのようなサービスを提供していません。しかし、コグニティブではなくレコメンドや時系列予測という領域で学習アルゴリズムを提供するサービスを展開したというのは面白いと思います。Amazonが通販から始まっいる企業ゆえという気もします。
もう、使えそうです
AWSのコンソールからサービス一覧を見てみると、これらの新サービスは既に使用可能な状態になっています。PersonalizeやForecastといった使いやすそうなサービスから、さっそく使ってみたいと思います。（と、言いつつPersonalizeやForecastはAWSコンソールからすぐに使えるわけではなく、Previewの登録が必要なようです。）