Gbm

Gradient Boosting 모델 비교 (XGBoost, LightGBM, Catboost)

Gradient Boosting이란 1. Gradient 기울기(gradient) 경사하강법(Gradient Descent)의 목적은 손실함수(loss function)의 최적화(Optimization)이다. 최적화는 손실 함수를 최소화 하는 파라미터 조합을 구하는 과정을 말한다. 경사하강법이란 함수의 기울기를 이용해 x값을 어디로 옮겼을때 함수가 최소값을 찾는지 알아보는 방법으로, 반복적인 방법(iterative)으로 해를 구하면 효율적이기 때문에 사용한다 손실함수란? 머신러닝에서 모델이 나타내는 확률 분포와 데이터가 따르는 실제 확률 분포 사이의 차이를 나타내는 함수 대체로 이 값은 0에 가까울수록 모델의 정확도가 높고, 반대로 0에서 멀어질수록 모델의 정확도가 낮다. 손실함수의 결과값(오차)를 가장..