전체 글42 70th_12_14(Mon)_시계열 데이터 분석 70일차 학습 내용 시계열 데이터 분석 Project ▶ARIMA, Facebook Prophet 모델을 이용하여 삼성 주가 예측하기 ⑥ ARIMA 모수 추정 ⓐ d(차분 횟수) 추정 import pmdarima as pm from pmdarima.arima.utils import ndiffs n_diffs = ndiffs(samsung_data, alpha=0.05, test='adf', max_d=6) print(f"추정된 차수 d = {n_diffs}") 결과: 추정된 차수 d = 1 ⓑ auto arima로 p(AR 차수), q(MA차수) 추정 from statsmodels.tsa.arima_model import ARIMA model_fit = pm.auto_arima( y=train_d.. 2024. 1. 8. 73th_12_18(Mon)_Web Scrapping 데이터 분석가 핵심 역량 두 가지 왜 프로젝트를 시작했는지 설명하기 문제를 어떻게 정의하는지가 중요, 그래서 어떤 방법을 정의했는지가 중요 데이터 수집 방법 SQL Open API 웹 스크레이핑 ❓웹 스크레이핑 인터넷 상의 웹 페이지를 자동으로 탐색해 정보를 추출하는 프로세스 데이터 수집, 분석 및 처리를 자동화 대표적 도구는 BeautifulSoup, Selenium Robot.txt 웹 스크레이핑을 할 때 해당 웹사이트의 =robots.txt= 를 통해 웹 크롤링에 대한 지침을 설명 일반적으로 웹페이지의 URL에 /robots.txt를 추가해 해당 파일을 찾을 수 있음 정적 페이지 vs. 동적 페이지 정적 페이지: 새로운 정보를 노출할 때 url이 변경 동적 페이지: 새로운 정보를 노출할 때 url이.. 2023. 12. 18. 62th_121_Overfitting import numpy as np import matplotlib.pyplot as plt x = np.sin y = x + np.random.rand(200) plt.plot(x, y) plt.show() 학습을 하며 epoch 마다 LR이 달라지는 것 학습란에서 scheduler.step()를 추가해서 epoch에 따라서 lr이 조절되는 효과를 볼 수 있음 save loss to csv: loss값을 csv로 저장하는 함수 utils.py 진행했던 것들을 시각화해주는 함수 모델한테 sin함수를 만든 적이 없음. 때문에 epoch을 많이 줘버리면 예상 loss는 0에 수렴하는 상태임을 알 수 있음 부드러운 sin함수를 만드는 게 아니라 noise까지 학습해서 시각적으로 표현한다면 이렇게 된다 noise.. 2023. 12. 4. 61th_11_30(Thu)_ResNet Kaiming He: 중국인 AI 전문가 1️⃣ResNet ❓ResNet 2015sus ILSVRC에서 우승을 차지한 모델 Human error보다 낮은 성능을 보인 최초의 Image Classification Network shortcut skip connection을 도입한 모델 여러 버전 중 최대 152개의 layer를 쌓아 본격적으로 very deep neural network를 가능하게 한 모델 ❗️기존 의문점 Layer를 추가해 complexity(=depth상승) 높이는 게 항상 정답일까? 다른 방향으로 F의 범위를 넓힐 가능성은 없는가? 기존의 모델을 포함하면서 확장을 해나간다면, target function에 가까워질 확률이 커질 것 ✔예시 F1: VGG11로 만들 수 있는 모델의 집합 .. 2023. 11. 30. 이전 1 ··· 3 4 5 6 7 8 9 ··· 11 다음
