AMATERAS RAY wiki

モデル検証

1.モデル検証画面に遷移

AIモデル構築が完了すると、「モデル検証」画面に遷移できるようになります。 画面上部のパンくずリストの「モデル検証」をクリックしてください。 モデル検証画面では、各モデルの学習時のスコアと、学習時間を一覧で見ることができます。 検証前の状態では、学習スコアが高い順番に上から並んでいます。 もしスコアが同一の場合は、学習時間が短いモデルが上になります。

2.特徴量重要度の作成

モデルの左端にある小さな三角のボタンを押すと、モデルの特徴を詳細に見ることができます。 初めて閲覧する場合は特徴量重要度の作成が自動で始まります。 画面左上の更新ボタンか、赤枠で囲われた特徴量重要度更新ボタンを押すと、進捗を確認することができます。

3.特徴量重要度とは

特徴量重要度とは、モデルがデータを予測する際、最も影響力が大きかった特徴量を100とした時に他の特徴量の 影響力がどの程度あるか、相対的に表したものです。 たとえば、下の画面からは、最も影響力のある特徴量以外ほとんど予測に影響を及ぼしていない、ということが読 み取れます。

4.各モデルごとの特徴量重要度

特徴量重要度は各モデルごとに作成できます。 下の画像からは最も影響力がある特徴量は、二番目に影響力がある特徴量の約3倍、結果に影響する、ということがわかります。 多くのモデルで上位に位置した特徴量は、学習に十分に有用な特徴量だということもいえるでしょう。

5.特徴量重要度のその他詳細

右上にあるボタンからグラフを画像やデータとしてダウンロードすることができます。 画面右側のModel Parameterはそれぞれ下記のような意味があります。

6.検証開始

それでは、検証を始めていきましょう。 ホールドアウトデータを選択をクリックします。 検証に使用する「検証データ」を選択します。 検証データはあらかじめ用意しておく必要があり、かつ「実績値」が入ったデータである必要があります。 多くの場合、学習用に用意したデータの一部を切り分けておき、検証用データとして残しておきます。 検証データについて、下記画像に簡単にまとめました。

7.検証データをアップロード

データを選択したら、アップロードします。 アップロードが完了すると、「ホールドアウト検証を開始する」というボタンが表示されます。 このボタンを押すと、検証が始まります。 検証中はモデルの詳細を確認することができません。 検証の進捗は画面左上の更新ボタンを押して確認してください。

8.検証結果

検証が終わると、赤枠で囲われた「検証結果」が新たに表示されるようになります。 検証は各評価指標で行われますが、アルゴリズムの並び順は、「学習時に指定した評価指標が高い順」に上から並び替えられますので注意してください。 画面ですとMAEを指定していますので、検証結果のMAEの精度が高い順に上から並び替えられています。

9.検証結果をダウンロード

検証結果をダウンロードすることができます。 結果を知りたいモデルの横のチェックボックスにチェックを入れ、画面上部のダウンロードボタンを押してください。 検証結果は下記のような形でダウンロードされます。 Indexが指定されていれば、Indexが一番左に配置されます。 その横に正解データ、そして各モデル(アルゴリズム名)による予測結果が並んでいます。

10.検証結果を可視化

モデルの詳細画面の「検証結果」をクリックすると、検証結果をグラフにすることができます。 数値予測の場合、下記のような予測と実績の折れ線グラフが表示されます。 クラス分類の場合、左のような予測と実績の積み上げグラフと、混同行列が表示されます。 モデル検証機能は以上です。 148