【Pythonコード付】CSVを入力するだけでLasso or Ridge回帰を実行

import pandas as pd
import numpy as np
from sklearn.model_selection import cross_val_score, LeaveOneOut, KFold
from sklearn.linear_model import Lasso, Ridge
from sklearn.preprocessing import StandardScaler
from statsmodels.tools import add_constant
from statsmodels.stats.outliers_influence import variance_inflation_factor
from skopt import BayesSearchCV
from skopt.space import Real
from skopt.learning import GaussianProcessRegressor
from skopt.learning.gaussian_process.kernels import RBF

# CSVファイルの読み込み
data = pd.read_csv('california_housing_prices.csv')

# 説明変数と目的変数に分ける
X = data.iloc[:, 1:]
y = data.iloc[:, :1]

# データの標準化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
y_scaled = scaler.fit_transform(y.values.reshape(-1, 1)).flatten()

# 定数項を追加
X_scaled_with_const = add_constant(X_scaled)

# モデルの選択 ('lasso' または 'ridge')
model_type = 'lasso'  # ここを 'ridge' に変更することでRidge回帰を実行します

# ベイズ最適化のための探索空間とガウス過程回帰の設定
search_spaces = {'alpha': Real(1e-4, 10e0, prior='log-uniform')}
kernel = RBF()
gp = GaussianProcessRegressor(kernel=kernel)

if model_type == 'lasso':
    # Lasso回帰のalphaをベイズ最適化する
    opt = BayesSearchCV(
        Lasso(), search_spaces, n_iter=50, cv=5, scoring='r2', n_jobs=-1, random_state=1,
        optimizer_kwargs={'base_estimator': gp, 'acq_func': 'EI'}
    )
elif model_type == 'ridge':
    # Ridge回帰のalphaをベイズ最適化する
    opt = BayesSearchCV(
        Ridge(), search_spaces, n_iter=50, cv=5, scoring='r2', n_jobs=-1, random_state=1,
        optimizer_kwargs={'base_estimator': gp, 'acq_func': 'EI'}
    )
else:
    raise ValueError("model_type should be either 'lasso' or 'ridge'")

# ベイズ最適化によるハイパーパラメータチューニング
opt.fit(X_scaled, y_scaled)
best_alpha = opt.best_params_['alpha']
model = opt.best_estimator_

# 回帰モデルのフィッティング
model.fit(X_scaled, y_scaled)

# 標準偏回帰係数を取得
coefficients = np.append(model.intercept_, model.coef_)

# 定数項を追加した説明変数のカラム名を作成
columns_with_const = ['Intercept'] + list(X.columns)

# 標準偏回帰係数をCSVとして出力
results_df = pd.DataFrame({
    'Variable': columns_with_const,
    'Standardized Coefficients': coefficients,
})
results_df.to_csv('standardized_coefficients.csv', index=False)

# VIFの計算のための関数
def calculate_vif(X):
    vif = pd.DataFrame()
    vif['Feature'] = X.columns
    vif['VIF'] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]
    return vif

# 定数項を除いたVIFを計算
X_scaled_no_const = pd.DataFrame(X_scaled, columns=X.columns)
vif_data = calculate_vif(X_scaled_no_const)

# VIFをCSVとして出力
vif_data.to_csv('vif.csv', index=False)

# 説明変数間の相関係数を計算
correlation_matrix = pd.DataFrame(X_scaled_no_const).corr()

# 相関係数マトリクスをCSVとして出力
correlation_matrix.to_csv('correlation_matrix.csv')

# クロスバリデーションによる決定係数の評価
if len(y) <= 10:
    cv = LeaveOneOut()
else:
    cv = KFold(n_splits=10, shuffle=True, random_state=1)

# クロスバリデーションで決定係数を評価
model_cv = model
scores = cross_val_score(model_cv, X_scaled, y_scaled, cv=cv, scoring='r2')

# Adjusted R²の計算
n = len(y)
p = X.shape[1]
adjusted_r2 = 1 - (1 - scores) * (n - 1) / (n - p - 1)
mean_adjusted_r2 = np.mean(adjusted_r2)

# Adjusted R²をCSVとして出力
adjusted_r2_df = pd.DataFrame({
    'Fold': range(1, len(adjusted_r2) + 1),
    'Adjusted R²': adjusted_r2
})
adjusted_r2_df.loc[len(adjusted_r2_df)] = ['Mean', mean_adjusted_r2]
adjusted_r2_df.to_csv('adjusted_r2.csv', index=False)

# CSVファイルの読み込み
data = pd.read_csv('california_housing_prices.csv')

# 説明変数と目的変数に分ける
X = data.iloc[:, 1:]
y = data.iloc[:, :1]

# データの標準化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
y_scaled = scaler.fit_transform(y.values.reshape(-1, 1)).flatten()

# 定数項を追加
X_scaled_with_const = add_constant(X_scaled)

# モデルの選択 ('lasso' または 'ridge')
model_type = 'lasso'  # ここを 'ridge' に変更することでRidge回帰を実行します

# ベイズ最適化のための探索空間とガウス過程回帰の設定
search_spaces = {'alpha': Real(1e-4, 10e0, prior='log-uniform')}
kernel = RBF()
gp = GaussianProcessRegressor(kernel=kernel)

if model_type == 'lasso':
    # Lasso回帰のalphaをベイズ最適化する
    opt = BayesSearchCV(
        Lasso(), search_spaces, n_iter=50, cv=5, scoring='r2', n_jobs=-1, random_state=1,
        optimizer_kwargs={'base_estimator': gp, 'acq_func': 'EI'}
    )
elif model_type == 'ridge':
    # Ridge回帰のalphaをベイズ最適化する
    opt = BayesSearchCV(
        Ridge(), search_spaces, n_iter=50, cv=5, scoring='r2', n_jobs=-1, random_state=1,
        optimizer_kwargs={'base_estimator': gp, 'acq_func': 'EI'}
    )
else:
    raise ValueError("model_type should be either 'lasso' or 'ridge'")

# ベイズ最適化によるハイパーパラメータチューニング
opt.fit(X_scaled, y_scaled)
best_alpha = opt.best_params_['alpha']
model = opt.best_estimator_

# 回帰モデルのフィッティング
model.fit(X_scaled, y_scaled)

# 標準偏回帰係数を取得
coefficients = np.append(model.intercept_, model.coef_)

# 定数項を追加した説明変数のカラム名を作成
columns_with_const = ['Intercept'] + list(X.columns)

# 標準偏回帰係数をCSVとして出力
results_df = pd.DataFrame({
    'Variable': columns_with_const,
    'Standardized Coefficients': coefficients,
})
results_df.to_csv('standardized_coefficients.csv', index=False)

# VIFの計算のための関数
def calculate_vif(X):
    vif = pd.DataFrame()
    vif['Feature'] = X.columns
    vif['VIF'] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]
    return vif

# 定数項を除いたVIFを計算
X_scaled_no_const = pd.DataFrame(X_scaled, columns=X.columns)
vif_data = calculate_vif(X_scaled_no_const)

# VIFをCSVとして出力
vif_data.to_csv('vif.csv', index=False)

# 説明変数間の相関係数を計算
correlation_matrix = pd.DataFrame(X_scaled_no_const).corr()

# 相関係数マトリクスをCSVとして出力
correlation_matrix.to_csv('correlation_matrix.csv')

# クロスバリデーションによる決定係数の評価
if len(y) <= 10:
    cv = LeaveOneOut()
else:
    cv = KFold(n_splits=10, shuffle=True, random_state=1)

# クロスバリデーションで決定係数を評価
model_cv = model
scores = cross_val_score(model_cv, X_scaled, y_scaled, cv=cv, scoring='r2')

# Adjusted R²の計算
n = len(y)
p = X.shape[1]
adjusted_r2 = 1 - (1 - scores) * (n - 1) / (n - p - 1)
mean_adjusted_r2 = np.mean(adjusted_r2)

# Adjusted R²をCSVとして出力
adjusted_r2_df = pd.DataFrame({
    'Fold': range(1, len(adjusted_r2) + 1),
    'Adjusted R²': adjusted_r2
})
adjusted_r2_df.loc[len(adjusted_r2_df)] = ['Mean', mean_adjusted_r2]
adjusted_r2_df.to_csv('adjusted_r2.csv', index=False)