Leaky ReLU 関数 計算
入力 x と傾き α から Leaky ReLU の値 f(x) と微分を計算します。x が負のとき αx、正のとき x を返し、グラフでも確認できます。
最終更新:
入力
x と負側の傾き α を入力すると、Leaky ReLU の値 f(x) と微分を計算します。
活性化関数に通す入力値です。
x が負のときの傾きです。一般に 0.01 が使われます。
計算結果
f(-2) =
-0.02
微分 f''(x)
0.01
傾き α
0.01
適用範囲
x ＜ 0（f = αx）
Leaky ReLU のグラフ
計算方法・使い方
- Leaky ReLU は f(x)=x（x≥0）、f(x)=αx（x<0）と定義される活性化関数です。α は負側の傾き（既定 0.01）です。
- 微分は x>0 で 1、x<0 で α です。x=0 は不連続点で、本ツールでは慣例として f'(0)=1 を採用します。
- 標準 ReLU は負側が常に 0 になり勾配も 0 になるため、学習が止まる dying ReLU が起きやすいです。Leaky ReLU は負側に小さな傾き α を残すことでこの問題を緩和します。
- α を学習可能なパラメータにしたものは PReLU と呼ばれます。
お客様の声
このツールを使った感想をお聞かせください。
レビューを投稿する
計算結果の誤りや不具合を見つけたら、こちらをオンにしてご報告ください。
評価