webdevqa.jp.net

損失と精度の両方の増加を解釈する方法

私はテンソルフローを使用してディープラーニングモデル(CNN)を実行しました。エポック中に何度も、損失と精度の両方が増加したか、または両方が減少したことを観察しました。私の理解では、両者は常に反比例の関係にあります。両方が同時に増加または減少するシナリオは何でしょうか。

20
Nitin

損失は​​、トレーニングプロセスが進むにつれて減少しますが、ドロップアウトなどのミニバッチ勾配降下法や正則化手法(ランダムノイズが導入される)によって生じる変動は除きます。

損失が減れば、トレーニングプロセスは順調です。

(私が仮定する検証)精度は、モデルの予測がどれほど優れているかを示す尺度です。

モデルが学習している場合、精度が向上します。モデルが過剰適合している場合は、代わりに精度が高まり、低下し始める可能性もあります。

損失が減少し、精度が低下する場合、モデルは過剰適合です。

損失が増加し、精度も増加する場合は、正則化手法が適切に機能しており、過剰適合の問題に対処しているためです。これは、損失が減少し始め、精度が向上し続ける場合にのみ当てはまります。そうでなければ、損失が増え続け、モデルが発散している場合、原因を探す必要があります(通常、学習率の値が高すぎます)。

32
nessuno

一流の答えは間違っていると思います。

あなたがクロスエントロピー損失について話していると仮定します。これは「驚き」の尺度と考えることができます。

トレーニングデータで損失と精度が同時に増加/減少しても、モデルが過適合であるかどうかはわかりません。これは、検証データとトレーニングデータの損失/精度を比較することによってのみ決定できます。

損失と精度の両方が減少している場合は、モデルが正しい予測に自信を持っているか、誤った予測に自信がなくなっているか、またはその両方が原因で損失が減少していることを意味します。ただし、全体的な予測が不正確になるため、精度が低下します。両方が増加している場合はその逆です。私たちが言えることはこれだけです。

1
nlml