카테고리 없음
경사하강법 (2)
경사하강법 선형 회귀의 목적식을 최소화 하게끔 그레디언트 벡터를 구해야 함 선형 회귀의 목적식은 ||y-XB||2 (L2 norm)이고 이를 최소화 하는 B를 찾아야함 목적식을 B로 미분하고 주어진 B에서 미분값을 빼주게 되면 경사하강법 알고리즘으로 최소가 되는 값을 찾을 수 있음 경사하강법 기반 선형회귀 알고리즘 X = np.array([1,1],[1,2],[2,2],[2,3]]) y = np.dot(X, np.array([1,2])) + 3 beta_gd = [10.1, 15.1, -6.5] X_ = np.array([np.append(x,[1]) for x in X]) for t in range(5000): error = y - X_ @beta_gd grad = - np.transpose(X_) @..
