본문 바로가기
반응형

전체 글11

[Machine Learning]훈련 데이터 과대적합/과소적합(Overfitting/Underfitting) 과대적합(Overfitting) 원인 : train set에 잡음이 많거나 data set이 너무 작으면 잡음이 섞인 패턴을 감지 해결방법 : 파라미터 수가 적은 모델을 선택, 훈련 데이터의 특성 수를 줄이거나, 모델에 제약을 가하여 단순화시킴 모델을 단순하게 하고 과대적합의 위험을 감소시키기 위해 제약을 가하는 것 ->규제(regularization) 규제의 양은 하이퍼파라미터가 결정 과소적합(Underfitting) 원인 : 모델이 너무 단순해서 데이터의 내재된 구조를 학습하지 못할때 일어남 해결방법 : 모델 파라미터가 더 많은 강력한 모델을 선택, 학습 알고리즘에 더 좋은 특성을 제공, 모델의 제약을 줄임(규제 하이퍼파라미터 감소) 2024. 4. 8.
[Project] 기상데이터를 활용한 태양광 발전량 예측 모델(2) XGBoost 모델과 기상청 API 데이터를 받아와 현재일 기준 +3일까지의 태양광 발전량 예측 모델을 개발 진행중 기상청에서 제공하는 단기예보 API의 경우 3일이 최대이며, - Base_time : 0200, 0500, 0800, 1100, 1400, 1700, 2000, 2300 (1일 8회) - API 제공 시간(~이후) : 02:10, 05:10, 08:10, 11:10, 14:10, 17:10, 20:10, 23:10 Base_time key값을 위와같이 입력해야함 클라이언트 측에서 3일까지의 날짜를 input값으로 주면 그 날 하루의 발전량이 한시간 단위로 나옴 flask, model 연동 완료. 데이터 입력 후 출력까지 완료 상태 이와같이 데이터 들어오는 시간이 달라서 keyError 맞춰.. 2024. 2. 15.
[Project] 기상데이터를 활용한 태양광 발전량 예측 모델(1) 데이터 사용 전, EDA 를 통해 데이터들 간의 상관성 및 특성 파악 태양광 발전의 경우 주요 인자들간의 영향이 크기 때문에 필수적으로 더 필요 [pearson heatmap 활용하여 데이터간 상관관계 분석] 양의 상관관계 변수: - Sunshine Duration (hr): 0.79 - Solar Radiation (MJ/m2): 0.56 - Ground Temperature (°C): 0.38 - Temperature (°C): 0.17 - Visibility (10m): 0.14 - Wind Speed (m/s): 0.09 - Wind Speed QC Flag: 0.04 - Wind Direction QC Flag: 0.04 - Local Atmospheric Pressure (hPa): 0.03 .. 2024. 2. 15.
[machine learning] Light GBM - Gradient Boostiong Decision Tree 알고리즘, Decision Tree 앙상블 모델 - 트리 기반 학습 알고리즘의 프레임워크 - 트리를 수직으로 확장 - 과적합이 되기 쉬우므로 max_depth 줄여야함 - 데이터 양이 적을 경우 과적합에 취약하므로 데이터 양이 10,000개 이상일 때 좋음 2023. 6. 8.
[pycharm] 초기 인터프리터 세팅 Python Interpreter : Python 3.7 -자주 사용하는 목록- Keras 2.10.0 matplotlib 3.3.2 numpy 1.21.6 pandas 1.2.0 pip 22.2.2 scikit-learn 1.0.2 seaborn 0.12.0 tensorflow 2.9.2 tensorflow-gpu 2.10.0 2023. 1. 2.
반응형

티스토리툴바