손실 함수 (loss function)

 모델을 학습할 때 손실함수를 지표로 삼고 모델의 학습을 관찰한다. 정확도를 목표로 하면 되는데 왜 정확도를 지표로 하지 않을까? 그 이유는 미분을 주로 사용하는 학습 모델에서 정확도는 대부분이 미분값이 0인 지점으로 삼아 미분값에 대한 변화를 알수 없다. 이에 반면 손실함수는 미분값에 영향을 받지 않아 변화량을 관찰할 수 있다. 

 정확도는 매개 변수의 변화에 거의 반응을 보이지 않고 반응이 있더라도 그 값이 불연속적으로 변한다. 예를 들면 활성화 함수로 계단 함수를 사용했다고 가정하면 0을 기준으로 미분값이 모두 0이다. 따라서 매개변수가 주는 변화를 계단함수가 모두 사라지게 만들어 손실함수의 값에 아무런 변화가 없다. 시그모이드 함수를 사용하면 미분 값이 0이 되는 구간이 없어 모든 구간에서 매개 변수의 변화를 전달 받을 수 있다.