| Index ソフト・ハード LightGBM | 機能・要件 |
|
LightGBM (Light Gradient Boosting Machine) ・機械学習における分析アルゴリズム ・勾配ブースティング決定木(GBDT) を扱えるフレームワーク ・ランキング学習 のアルゴリズムを実装 クエリに対するレコードの集合からペアを作成、関連順序のラベルから学習 LambdaRank・精度向上などのため勾配ブースティング決定木に GOSS と EFB を取り入れ。 ・参考 Lightにした工夫 ・Leaf-wise tree growth 分岐させるべき葉(leaf)だけを分岐 分岐が必要なくなった要素は、それ以上は計算しない。・決定木構築アルゴリズムは Histogram-based のみで、葉の生成時間を短くする。 葉の分岐点を探す際、すべての値を見ない。 ヒストグラム (参考)を作り、数値をまとめて分岐させる。 ヒストグラムの分割点の求め方を最適解ではなく次善解に変更し高速化・GOSS と EFB を取り入れ。 カテゴリ変数の処理 ・カテゴリ変数を自動的に処理する。 GOSS (Gradient-based One-Side Sampling) ・学習できていない要素を学ぶことを優先する。(学習データの量を減らす。) ・勾配の大きなデータ(誤差の大きいデータ)だけを残す。 ・勾配の小さいデータ(誤差が小さいデータ)はランダムサンプリングして減らす。 EFB (Exclusive Feature Bundling) ・複数の特徴量をbundleしてまとめて一つの特徴量のように扱う。 異なる特徴量だが纏めても問題がなさそうな場合、一つにして計算量を減らす。 |
| All Rights Reserved. Copyright (C) ITCL | |