스택큐힙리스트

스토캐스틱 그라디언트 디센트 (SGD)와 백프로파게이션 (back-propagation)의 차이점을 알려주세요.답변 1SGD는 최적화 방법 중 하나이며, 일차 최적화기(First Order Optimizer)로 알려져 있습니다. 이는 목적함수의 기울기(gradient)에 기반한 분석을 포함합니다. 따라서 신경망에서는 보통 역전파와 함께 사용하여 효율적인 업데이트를 수행합니다. 또한, 샘플링, 수치근사 등을 통해 얻은 기울기에도 SGD를 적용할 수 있습니다. 대칭적으로, 역전파와 함께 다른 최적화 기법을 사용할 수도 있으며, 그것은 기울기/자코비안을 사용할 수 있는 모든 것을 사용할 수 있습니다.이 흔한 오해는 사람들이 때로는 역전파로 훈련이라고 말하기도 하는데, 이는 (옵티마이저를 명시하지 않는다면) 역..