Gradient Boosting 3大アルゴリズム徹底比較 (XGBoost / LightGBM / CatBoost)

XGBoostの木の成長方針は、層毎に均等かつ水平に分岐を広げる__________と呼ばれる方式である。

Level-wise

LightGBMの木の成長方針は、最も損失（Loss）が減るノードを優先的に分岐させる__________と呼ばれる方式である。

Leaf-wise

CatBoostの木の成長方針は、同じ階層の全ノードで全く同じ分岐条件を使用する左右対称な__________（Balanced）である。

Symmetric Tree

画像に示されている、深さ（層）ごとに均等に分岐を広げてバランスの取れた木構造を形成する成長方式は__________である。

Level-wise

画像に示されている、損失削減が最大となるノードを優先して左右非対称に深く分岐させる成長方式は__________である。

Leaf-wise

画像に示されている、全ノードで同じ分岐条件（$f1, f2$）を用いて完全平衡木を構築するCatBoostの成長方式は__________である。

Symmetric Tree

LightGBMのLeaf-wise成長は小データにおいて過学習を起こしやすいため、__________を設定して木の深さを抑制する。

max_depth

CatBoostのSymmetric Treeは完全平衡木を強制的に作成するため、推論処理を__________化することができ、推論速度が極めて高速である。

ビット演算

XGBoostの分割点探索において、全特徴量の全ソート候補を試す精密な手法を__________、分位点でビン分けして探索空間を削減する手法をApproxと呼ぶ。

Exact

XGBoostは、損失関数の__________（Hessian）を利用した評価関数と正則化項により、高い予測精度と堅牢性を実現している。

2次勾配

LightGBMのGOSS（Gradient-based One-Side Sampling）では、勾配が大きいデータを100%保持し、勾配の小さいデータを__________する。

ランダムサンプリング

LightGBMのEFB（Exclusive Feature Bundling）は、互いに排他的（同時に非ゼロ値を取らない）な__________を1つに結合して低次元化する技術である。