[인공지능] 선형회귀 (Linear regression) , 경사하강(Gradient Descent Algorithm) 강의 내용 정리

Goal : Minimize cost(W,b) 

 

데이터 예측 단계

Regression Data -> Presentation -> Hypothesis (Linear ? Non-linear ?)

 

1. Hypothesis 

(1) Linear  ## 우리 모델에 가장 적합한 식(오차가 적음)을 찾자! 

    : H(x) = Wx + b

  

  - cost function (오차) = Loss function = Objective function 

   : Cost =  H(x) - y  (y : 창 값) 

Cost function

    즉, 에러의 평균을 의미한다.

 

 

유도 방법 

 - Gradient  Descent Algorithm (경사 하강 알고리즘)

  : 기울기가 0이 되는 지점을 찾는다. -> 미분 

갱신 W = 기존 W - 상수 * 미분값

 --> 갱신값 = 기존값 일때까지 반복 (즉, 미분값이 0인 경우)

 

 ---- Convex function (Global minimum) ----

 : 최소값 1개 

convex function

convex vs Non-convex

: 어떤 포인트를 연결했을 때, 영역 바깥으로 나가는지 확인