728x90
반응형
모델을 학습할 때 손실함수를 지표로 삼고 모델의 학습을 관찰한다. 정확도를 목표로 하면 되는데 왜 정확도를 지표로 하지 않을까? 그 이유는 미분을 주로 사용하는 학습 모델에서 정확도는 대부분이 미분값이 0인 지점으로 삼아 미분값에 대한 변화를 알수 없다. 이에 반면 손실함수는 미분값에 영향을 받지 않아 변화량을 관찰할 수 있다.
정확도는 매개 변수의 변화에 거의 반응을 보이지 않고 반응이 있더라도 그 값이 불연속적으로 변한다. 예를 들면 활성화 함수로 계단 함수를 사용했다고 가정하면 0을 기준으로 미분값이 모두 0이다. 따라서 매개변수가 주는 변화를 계단함수가 모두 사라지게 만들어 손실함수의 값에 아무런 변화가 없다. 시그모이드 함수를 사용하면 미분 값이 0이 되는 구간이 없어 모든 구간에서 매개 변수의 변화를 전달 받을 수 있다.
반응형
'Deep Learning' 카테고리의 다른 글
GTX 1660 super에 맞는 tensorflow, python, CUDA, Cudnn 버전 (4) | 2021.03.28 |
---|---|
Optimizer ( Adam, SGD ) (0) | 2021.03.27 |
tensorboard 사용법, gpu 할당 메모리 관리 (0) | 2021.03.06 |
OSError: [WinError 127] 지정된 프로시저를 찾을 수 없습니다. Error loading \\torch\\lib\\*_ops_gpu.dll or one of its dependencies. (0) | 2021.03.06 |
TFBertModel parameter (0) | 2021.03.05 |