왜 가중치 벡터는 신경망에서 결정 평면과 직교하는가

저는 신경망의 초보자입니다. 퍼셉트론에 대해 배우고 있습니다.
제 질문은 가중치 벡터가 결정 경계(하이퍼플레인)에 수직이 되는 이유는 무엇인가요?
많은 책들을 참고했지만, 모두 가중치 벡터가 결정 경계에 수직이라고 언급하고는 있지만 그 이유를 언급한 책은 없습니다.

누군가 설명이나 책 참고 자료를 제공해 주실 수 있을까요?

답변 1

여기서 w와 x는 모두 길이 N의 벡터입니다. 이 방정식은 평면 상의 모든 점에서 성립합니다. 위의 방정식을 상수로 곱하여도 여전히 성립하기 때문에 벡터 w의 단위 길이를 갖도록 상수를 정의할 수 있습니다. 이제 종이 조각을 꺼내서 x-y 축 (x1과 x2는 위의 방정식에서 의미합니다)을 그려보세요. 그 다음, 원점 근처에 선 (2D에서의 평면)을 어딘가 그려보세요. w0은 단순히 원점에서 평면까지의 수직 거리이며, w는 그 수직 방향을 따라 원점에서 가리키는 단위 벡터입니다. 이제 원점에서 평면의 어떤 점까지의 벡터를 그려보면, 그 벡터와 단위 벡터 w의 내적은 항상 w0와 같을 것이므로 위의 방정식이 성립합니다. 이것은 단순히 평면의 기하학적 정의입니다: 평면에 수직한 단위 벡터 (w)와 원점에서 평면까지의 거리 (w0)로 정의됩니다.

지금 우리의 뉴런은 위에서 설명한 것과 같은 평면을 나타내지만 변수들을 약간 다르게 설명할 뿐입니다. 우리는 x의 구성요소를 입력(input)이라고 부르고, w의 구성요소를 가중치(weights)라고 부르며, 거리 w0를 편향(bias)이라고 부를 것입니다. 그것이 전부입니다.

실제 질문을 넘어서 좀 더 나아가 보면, 우리는 평면 상의 점들에 대해 실제로 관심이 없습니다. 우리는 실제로 어떤 점이 평면의 어느 쪽에 속해 있는지를 알고 싶습니다. w*x - w0는 평면 위에서 정확히 0이지만, 평면의 한쪽에 있는 점들은 양수 값을 갖고 반대쪽에 있는 점들은 음수 값을 갖습니다. 이것이 뉴런의 활성화 함수가 필요한 이유이지만, 이는 실제 질문을 넘어선 내용입니다.

답변 2

Why is weight vector orthogonal to decision plane in neural networks
뉴럴 네트워크에서 왜 가중치 벡터는 결정 평면과 직교하는가
뉴럴 네트워크는 현대 인공지능 분야에서 가장 핵심적인 개념 중 하나로 알려져 있다. 이러한 네트워크는 입력값을 받아 가중치 벡터와 곱한 후, 활성화 함수를 통해 출력을 계산한다. 그리고 이러한 출력은 결정 평면에 의해 분류되거나 예측되기도 한다. 이 작문에서는 뉴럴 네트워크에서 가중치 벡터가 결정 평면과 직교하는 이유에 대해 알아볼 것이다.
뉴럴 네트워크의 핵심 구성 요소 중 하나인 가중치 벡터는 입력값에 대한 중요도를 나타낸다. 이러한 가중치 벡터는 학습 과정을 통해 조정되며, 최적의 결정 평면을 형성하게 된다. 따라서 결정 평면과 가중치 벡터는 밀접한 관련이 있다고 볼 수 있다.
결정 평면은 입력값 공간을 분리하는 역할을 한다. 이를 통해 올바른 클래스 또는 결과를 예측할 수 있다. 가중치 벡터는 입력값과의 내적을 통해 해당 입력의 중요도를 계산한다. 따라서 가중치 벡터와 결정 평면은 서로에게 의존적인 관계에 있다.
하지만 실제로 가중치 벡터와 결정 평면이 직교하는지에 대한 근거가 필요하다. 이를 증명하기 위해선 수학적인 개념과 이론을 사용해야 한다. 결정 평면을 수학적으로 구성하기 위해서는 결정 함수와 그레이디언트 벡터가 필요한데, 결정 함수는 가중치 벡터와 입력값의 내적으로 표현된다. 그레이디언트 벡터는 결정 함수에서의 기울기를 나타내며, 이는 결정 평면의 법선 벡터로 사용된다.
벡터들이 서로 직교한다는 개념은 내적이 0이라는 것을 의미한다. 따라서 결정 함수의 가중치 벡터와 결정 평면의 법선 벡터의 내적이 0이 되어야 직교한다고 할 수 있다.
이러한 직교 성질은 뉴럴 네트워크의 학습 과정에서 중요한 역할을 한다. 가중치 벡터가 결정 평면과 직교하면, 입력값의 변화에 덜 영향을 받으며 더 일반적인 결정 평면을 형성할 수 있다. 따라서 네트워크는 더 다양한 입력값에 대한 예측을 수행할 수 있다.
결론적으로, 뉴럴 네트워크에서는 가중치 벡터와 결정 평면이 직교하는 것이 중요하다. 이를 통해 네트워크는 입력값의 중요도를 잘 파악하고, 더 정확한 분류와 예측을 할 수 있게 된다. 이러한 개념은 뉴럴 네트워크의 핵심 원리 중 하나이며, 알고리즘의 개선과 성능 향상에 도움을 줄 수 있다.