LightGBMの復習

# pandas, numpyをインポート
import numpy as np 
import pandas as pd 

# 可視化モジュールをインポート
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline

# 評価指標（今回のコンペティションでは RMSLE
from sklearn.metrics import mean_squared_log_error

# LightGBMをインポート
import lightgbm as lgb

# 時間計測用のライブラリをインポート
from contextlib import contextmanager
from time import time

# ディレクトリ
input_dir = "../input/"
output_dir = "../output/"

train_df = pd.read_csv(input_dir+"TrainDataSet.csv")
test_df = pd.read_csv(input_dir+"EvaluationData.csv")
submission = pd.read_csv(input_dir+"UploadFileTemplate.csv")

# 学習データの先頭5列を表示
train_df.head()

@contextmanager
def timer(logger=None, format_str='{:.3f}[s]', prefix=None, suffix=None):
    if prefix: format_str = str(prefix) + format_str
    if suffix: format_str = format_str + str(suffix)
    start = time()
    yield
    d = time() - start
    out_str = format_str.format(d)
    if logger:
        logger.info(out_str)
    else:
        print(out_str)

def fit_lgbm(X, y, cv, params: dict=None, verbose: int=50):
　"""
    lightGBM を CrossValidation の枠組みで学習を行なう function

    Parameters
    ----------
    X: numpy.ndarray
        説明変数
    y : Series
        目的変数
    cv:list
　　CrossValidationをする際のindex
　params:dict
　　LightGBMのパラメータ
　verbose:int
　　結果の表示タイミング

　Returns
    -------
    oof_pred : numpy.ndarray
        OOF予測値
　models:list
　　学習モデル
    """
    metric_func = mean_squared_error
    
    if params is None:
        params = {}

    models = []
    # training data の target と同じだけのゼロ配列を用意
    # float にしないと悲しい事件が起こるのでそこだけ注意
    oof_pred = np.zeros_like(y, dtype=np.float)

    for i, (idx_train, idx_valid) in enumerate(cv): 
        # この部分が交差検証のところです。データセットを cv instance によって分割します
        # training data を trian/valid に分割
        x_train, y_train = X[idx_train], y[idx_train]
        x_valid, y_valid = X[idx_valid], y[idx_valid]

        clf = lgb.LGBMRegressor(**params)

        with timer(prefix='fit fold={} '.format(i + 1)):
            clf.fit(x_train, y_train, 
                    eval_set=[(x_valid, y_valid)],  
                    early_stopping_rounds=verbose,
                    verbose=verbose)

        pred_i = clf.predict(x_valid)

        oof_pred[idx_valid] = pred_i
        models.append(clf)

        print(f'Fold {i} RMSLE: {metric_func(y_valid, pred_i)**.5 :.4f}')

    score = metric_func(y, oof_pred)**.5 
    print('FINISHED | Whole RMSLE: {:.4f}'.format(score))
    return oof_pred, models

# LightGBMのパラメータを設定
lgm_params = {  
    "n_estimators": 10000,
    "objective": 'rmse',
    "learning_rate": 0.01,
    "num_leaves": 31,
    "random_state": 2021,
    "n_jobs": -1,
    "importance_type": "gain",
    'colsample_bytree': .5,
    "reg_lambda": 5
    }

# 学習を実行
# ここでのtrain_x, train_ysは、特徴量生成を行った、説明変数と目的変数です。
# group_cvは交差検証のためのlistを渡します。
oof, models = fit_lgbm(train_x.values, train_ys, group_cv , params=lgm_params)