機械学習における過学習とその対処法[ L2、L1正則化 ]

 

過学習（Overfitting）は、機械学習モデルがトレーニングデータに対して過剰に適応してしまい、新しい未知のデータに対する汎化性能が低下する現象です。具体的には、モデルがトレーニングデータに適合しすぎて、データ中のノイズやランダムな変動まで学習してしまうことがあります。

〇主な原因

過学習が発生する主な原因として以下の点が挙げられます：

 

モデルの複雑さ: モデルが非常に複雑で、トレーニングデータに対して細かい特徴まで学習しようとすると、ノイズも学習してしまい、未知のデータに対する予測性能が低下します。

 

トレーニングデータの不足: モデルが十分な量のトレーニングデータを持っていない場合、モデルはデータセット中の特定の例に過剰に適応する可能性があります。

 

特徴量の過剰な使用: 過多な特徴量を使用すると、モデルはノイズやランダムなパターンまで学習しやすくなります。

 

〇過学習を防ぐには

過学習を防ぐためには、以下のような手法を組み合わせて使うことが一般的です。以下は具体的な例です：

 

データの増強 (Data Augmentation): トレーニングデータを人工的に増やすことで、モデルがデータセット全体の多様性を捉えやすくなります。例えば、画像データの場合、ランダムな回転、反転、クロップなどの変換を適用します。

 

正則化 (Regularization): モデルの複雑さを制御するために、正則化項を追加します。L1正則化やL2正則化などを使用して、重みが過剰に大きくなることを抑制します。

 

from sklearn.linear_model import LogisticRegression

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

from sklearn.pipeline import make_pipeline

 

# データの読み込みや前処理は前述の例を参考にしてください

 

# モデルの作成（L2正則化を使用）

model = make_pipeline(StandardScaler(), LogisticRegression(penalty='l2'))

 

# トレーニングデータで学習

model.fit(X_train, y_train)

モデルのアーキテクチャの簡素化: モデルの複雑さを抑えることも過学習を防ぐために重要です。例えば、ニューラルネットワークの場合、レイヤーの数やノードの数を減らすことがあります。

 

早期停止 (Early Stopping): トレーニングを途中で終了することで、過学習を防ぎます。検証データの性能が改善しなくなった時点でトレーニングを停止します。

 

from sklearn.neural_network import MLPClassifier

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

from sklearn.pipeline import make_pipeline

 

# データの読み込みや前処理は前述の例を参考にしてください

 

# モデルの作成

model = make_pipeline(StandardScaler(), MLPClassifier(early_stopping=True))

 

# トレーニングデータで学習

model.fit(X_train, y_train)

クロスバリデーション (Cross-Validation): モデルの評価を信頼性高く行うために、クロスバリデーションを使用します。これにより、異なる部分集合での性能を複数回評価することができます。

 

これらの手法を組み合わせて使用することで、過学習を抑制し、モデルの汎化性能を向上させることができます。

〇L2正則化を詳しく

L2正則化（リッジ正則化）は、線形回帰などのモデルにおいて、モデルの複雑さを抑制し過学習を防ぐために使用される手法の一つです。L2正則化は、モデルの重み（係数）が過大になることを抑制するために、損失関数に対して正則化項を追加します。これにより、特にデータセットが小さな場合や特徴量の数が多い場合に有用です。

 

以下に、線形回帰にL2正則化を適用する具体的な例を示します。scikit-learnのRidgeクラスを使用します。

 

from sklearn.linear_model import Ridge

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

from sklearn.metrics import mean_squared_error

import numpy as np

 

# データの生成（例としてランダムなデータを使用）

np.random.seed(42)

X = 2 * np.random.rand(100, 1)

y = 4 + 3 * X + 1.5 * np.random.randn(100, 1)

 

# データの分割

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

 

# データの標準化

scaler = StandardScaler()

X_train_scaled = scaler.fit_transform(X_train)

X_test_scaled = scaler.transform(X_test)

 

# Ridge回帰モデルの作成とトレーニング

alpha = 1.0  # 正則化パラメータ

ridge_model = Ridge(alpha=alpha)

ridge_model.fit(X_train_scaled, y_train)

 

# トレーニングデータとテストデータでの予測

y_train_pred = ridge_model.predict(X_train_scaled)

y_test_pred = ridge_model.predict(X_test_scaled)

 

# モデルの性能評価

mse_train = mean_squared_error(y_train, y_train_pred)

mse_test = mean_squared_error(y_test, y_test_pred)

 

print(f"Training MSE: {mse_train}")

print(f"Test MSE: {mse_test}")

この例では、Ridgeクラスを使用してリッジ回帰モデルを構築しています。alphaは正則化パラメータで、これを調整することで正則化の強さを変えることができます。大きなalphaはより強い正則化を意味します。モデルがトレーニングデータに適合しやすくなる一方で、未知のデータに対する性能が向上する可能性があります。

〇L1正則化を詳しく

L1正則化（ラッソ正則化）は、線形回帰やロジスティック回帰などのモデルにおいて、モデルの複雑さを抑制し、特定の特徴量を選択する効果をもたらす正則化手法です。L1正則化は、モデルの損失関数に対して、絶対値の正則化項を追加します。

 

L1正則化を用いた線形回帰の例を示します。scikit-learnのLassoクラスを使用します。

 

from sklearn.linear_model import Lasso

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

from sklearn.metrics import mean_squared_error

import numpy as np

 

# データの生成（例としてランダムなデータを使用）

np.random.seed(42)

X = 2 * np.random.rand(100, 1)

y = 4 + 3 * X + 1.5 * np.random.randn(100, 1)

 

# データの分割

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

 

# データの標準化

scaler = StandardScaler()

X_train_scaled = scaler.fit_transform(X_train)

X_test_scaled = scaler.transform(X_test)

 

# Lasso回帰モデルの作成とトレーニング

alpha = 1.0  # 正則化パラメータ

lasso_model = Lasso(alpha=alpha)

lasso_model.fit(X_train_scaled, y_train)

 

# トレーニングデータとテストデータでの予測

y_train_pred = lasso_model.predict(X_train_scaled)

y_test_pred = lasso_model.predict(X_test_scaled)

 

# モデルの性能評価

mse_train = mean_squared_error(y_train, y_train_pred)

mse_test = mean_squared_error(y_test, y_test_pred)

 

print(f"Training MSE: {mse_train}")

print(f"Test MSE: {mse_test}")

この例では、Lassoクラスを使用してラッソ回帰モデルを構築しています。alphaは正則化パラメータで、これを調整することで正則化の強さを変えることができます。大きなalphaはより強い正則化を意味します。

〇まとめ

機械学習において、より複雑なモデルであったり、シンプル過ぎるモデルを学習させる場合、過学習が起きやすいです。

それを防ぐにはL2正則化やL1正則化を行うのがいいです。

L1正則化は主成分分析の代わりなどにも使え非常に便利です！