미분

경사하강법 (1)

미분(differentiation) 변수의 움직임에 따른 함수 값의 변화를 측정하는 도구 최적화에서 제일 많이 사용하는 기법 파이썬의 sympy를 사용하면 미분을 계산 가능 import sympy as sym sym.diff(sym.poly(x**2 + 2*x +3), x) -> 2x + 2 함수값을 증가시키고 싶다면 미분값을 더함 함수값을 감소시키고 싶다면 미분값을 뺌 경사 상승법(gradient ascent): 미분값을 더하면서 함수의 극대값을 구할 때 경사 하강법(gradient descent): 미분값을 빼면서 함수의 극소값을 구할 때 극 값에 도달하게 되면 움직임이 멈춤 편미분: 벡터가 입력인 다변수 함수의 경우 사용되는 미분방법 그레디언트 벡터: d차원 벡터를 입력으로 갖는 함수는 편미분을 d..