Brownlab

📌 주니어 PM 혼자 AI 기초 공부: 머신러닝 - 그래디언트 부스팅 세 가지 알고리즘 비교 (XGBoost, LightGBM, CatBoost)정형 데이터를 분류하고, 정형 데이터로부터 예측하고, 정형 데이터의 랭킹 작업을 하려면 그래디언트 부스팅 라이브러리 세 가지 중 하나를 사용하면 됩니다. 그래디언트 부스팅 계열의 세 가지 라이브러리XGBoost, LightGBM, CatBoost 는 모두 그래디언트 부스팅(Gradient Boosting) 계열 라이브러리로, 약한 모델(주로 의사결정 트리)을 여러 개 모아 강력한 예측 모델을 만드는 방법입니다. 각 알고리즘은 데이터 처리 방식에서 차이가 있기 때문에, 데이터의 규모와 종류에 따라 적절한 알고리즘을 선택합니다. 연구에 따르면, XGBoost는 균..

요약CatBoost는 Yandex에서 개발된 오픈소스 그래디언트 부스팅(Gradient Boosting) 라이브러리로, 범주형 특징(categorical features)을 자동으로 처리하는 데 특화되어 있습니다. tabular 데이터 기반의 예측 모델링에서 매우 유용하며, AI 학습에서 과적합(overfitting)을 줄이고 정확도를 높이는 데 중요한 역할을 합니다. CatBoost를 활용해서 데이터 전처리 시간을 절감하고, 비즈니스 의사결정을 위한 빠른 인사이트를 얻을 수 있습니다.핵심 포인트- CatBoost는 범주형 데이터를 별도 변환 없이 처리할 수 있어서 실무 효율성이 높습니다.- Ordered boosting 기법으로 과적합을 방지하며, 모델의 일반화 성능을 강화합니다.- GPU를 지원하여 ..

📌 주니어 PM 혼자 AI 기초 공부: 머신러닝 모델과 알고리즘 머신 러닝이 더 잘 하는 것머신 러닝의 한계를 극복하기 위해 딥 러닝이 등장하면서 AI 분야에 발전과 혁신을 가져왔지만, 머신 러닝이 딥 러닝으로 완전히 대체된 것은 아니지요. 2025년 12월 현재, 여전히 가치를 인정받고 활발하게 사용되고 있는 머신 러닝 모델/알고리즘이 있습니다.그래디언트 부스팅 계열그래디언트 부스팅(Gradient Boosting)은 머신 러닝의 앙상블 기법으로, 약한 학습기(주로 의사결정 나무)를 순차적으로 결합해서 이전 모델의 오류를 점진적으로 보정하는 방법입니다. 각 단계에서 손실 함수의 그래디언트(기울기)를 따라 모델을 최적화합니다. 랜덤 포레스트 같은 배깅보다 높은 정확도를 내고, Kaggle 대회나 실무에..