Gradient Descent(경사하강법)

머신러닝 기반 회귀의 핵심 사항은 비용함수를 최소로 만드는 w1, w0 변수가 무엇인지 알아내는 것이다. (여기서는 단순선형 회귀라고 가정한다. y = w0 + w1 * x) 비용함수를 최소로 하는 w1, w0 가 무엇인지 찾아보는 방법이 경사하강법 이다. 실제 y 와 예측된 y_pred 의 차이를 계산하는 비용함수는 아래와 같다. 비용함수를 단순히 y=x^2 로 나타내보면 위의 그래프와 같은데, 여기서 두가지 사항을 눈여겨보자. 1) 방향성 기울기+ 인 경우 : x 값이 작아질수록 y 가 작아지고, 기울기- 인 경우 : x값이 커질수록 y 가 작아짐을 알 수 있다. 2) 크기 y (비용함수)가 작을 수록 : 기울기가 작아지고 y (비용함수)가 클수록 : 기울기가 커진다. 따라서, w1_update = ..
머신러닝 2023. 2. 9. 11:53
1