수학 수업에서 이차함수의 꼭짓점을 이용하면 그래프의 최솟값을 비교적 바로 찾을 수 있었다. 예를 들어 꼭짓점형으로 식을 정리하거나 축의 위치를 확인하면, 포물선이 가장 낮아지는 지점을 계산할 수 있다. 그러나 실제로는 꼭짓점의 위치를 미리 모르는 경우도 있으므로, 현재 위치에서 조금씩 이동하면서 더 낮은 값을 찾는 방법도 가능할지 궁금해졌다.

이 궁금증은 AI가 학습하는 방식과 연결되었다. AI 학습은 정답을 그대로 외우는 일이 아니라, 예측과 실제의 차이가 가장 작아지도록 모델 내부의 조절값을 바꾸는 과정으로 이해할 수 있다. 즉, 이차함수의 최솟값을 찾는 문제는 AI가 오차를 줄이는 값을 찾는 과정을 단순하게 관찰할 수 있는 수학적 모형이 될 수 있다고 판단하였다.

탐구 대상을 하나의 조절값 $w$를 가진 다음 손실함수로 고정하였다. 여기서 $w$는 단위가 없는 모델의 조절값이며, $L(w)$는 예측 오차의 크기를 나타내는 값이다.

시작값은 $w=10$, 반복 횟수는 10회로 정하였다. 또한 한 번 이동할 때의 크기를 결정하는 학습률 $η$를 $0.1$, $0.5$, $1.2$의 세 조건으로 나누었다. 이렇게 조건을 고정하면 학습률만 달라질 때 위치와 손실값의 변화가 어떻게 달라지는지 비교할 수 있다.

처음에는 학습률이 클수록 한 번에 더 멀리 이동하므로 최솟값에 항상 더 빨리 도달할 것이라고 예상하였다. 하지만 큰 이동이 꼭짓점을 지나쳐 반대편으로 갈 가능성도 있으므로, 이 예상은 계산으로 검증해야 할 가설이다. 따라서 핵심 질문을 ‘학습률 $η$가 $0.1$, $0.5$, $1.2$일 때 꼭짓점 $(3,1)$에 가까워지는 속도와 이동 양상은 어떻게 달라지는가’로 구체화하였다.

앞 절에서 정한 탐구 함수를 이차함수의 교과 개념으로 해석하였다. 꼭짓점형 이차함수 $y=a(x-p)^2+q$에서 축은 $x=p$, 꼭짓점은 $(p,q)$이다. $a>0$이면 포물선은 위로 열려 꼭짓점이 전체 최솟값을 가지며, $a<0$이면 아래로 열려 꼭짓점이 전체 최댓값을 갖는다.

계수 $a$는 그래프의 방향뿐 아니라 가파름도 결정한다. $|a|$가 클수록 같은 가로 거리에서 세로값의 변화가 커져 그래프가 더 좁고 가파르게 보인다. 이는 이후 같은 학습률로 이동하더라도 손실곡선의 모양에 따라 이동 결과가 달라질 수 있음을 판단하는 기준이 된다.

이번 탐구의 함수는 다음과 같이 $a=1$, $p=3$, $q=1$인 꼭짓점형 이차함수이다.

따라서 축은 $w=3$, 꼭짓점은 $(3,1)$이며 최솟값은 $1$이다. 여기서 $w$는 AI 모델이 조절하는 하나의 매개변수이고, 손실함수 $L(w)$는 그 조절값에서의 오차 크기를 뜻하도록 설정하였다. 실제 신경망은 많은 매개변수와 복잡한 손실함수를 사용하지만, 본 탐구에서는 축·꼭짓점·대칭성을 분명히 관찰하기 위해 이를 1변수 이차함수로 단순화하였다.

최솟값은 이차식의 부호로도 확인할 수 있다.

따라서 모든 $w$에 대하여 $L(w)\geq1$이고, 등호는 $w=3$일 때에만 성립한다. 즉 꼭짓점의 손실값 $1$은 단순히 그래프에서 낮아 보이는 값이 아니라, 이차식의 제곱항이 음수가 될 수 없다는 성질로 보장되는 전체 최솟값이다.

앞 절에서 손실함수의 최솟값이 $w=3$에서 결정됨을 확인하였다. 이제 중요한 점은 꼭짓점을 공식을 통해 곧바로 찾지 않고, 현재 위치의 손실을 줄이는 방향으로 $w$를 반복 갱신할 수 있다는 것이다. 이러한 반복 계산 방법을 경사 하강법이라고 한다.

이 탐구에서는 일반적인 미분 공식의 유도보다, 이차 손실함수의 기울기 정보를 반영한 다음 이동 규칙을 사용하였다. $η$는 한 번 갱신할 때의 이동 크기를 정하는 학습률이며 단위는 없다.

$w>3$이면 $w-3>0$이므로 갱신값은 현재값보다 작아져 축 $w=3$을 향해 왼쪽으로 이동한다. 반대로 $w<3$이면 $w-3<0$이므로 갱신값은 커져 오른쪽으로 이동한다. 이는 위로 열린 이차함수가 축의 왼쪽에서는 감소하고 오른쪽에서는 증가한다는 성질을 이용하여, 더 작은 손실값이 있는 꼭짓점 방향을 선택하는 과정으로 해석할 수 있다.

Google의 머신러닝 교육 자료에서 설명하는 경사 하강법은 손실을 줄이는 방향으로 매개변수를 반복 조정하는 최적화 방법이다. 경사 기반 학습은 실제 인공신경망 학습에도 활용되어 왔으며^[1], 딥러닝에서는 많은 자료 일부를 이용해 갱신하는 확률적 경사 하강법도 널리 연구된다.^[2] 다만 본 탐구는 이 설명을 이해하기 위한 결정적인 1변수 계산 모형이며, 실제 AI의 복잡한 학습 환경과 동일시하지 않았다.

즉 AI는 ‘정답을 외우는’ 방식보다 손실값을 작게 만드는 매개변수 조합을 탐색하는 방식으로 이해하는 것이 적절하다. 다음 절에서는 동일한 이동 규칙에서 학습률만 바꾸어, 손실을 줄이려는 이동이 실제로 안정적인 수렴·즉시 도달·축 통과 중 어떤 양상으로 나타나는지 계산하였다.

앞 절의 이동 규칙을 스프레드시트에 입력하여 $η=0.1$, $0.5$, $1.2$에서 각각 10회 갱신하였다. 각 회차 $n$에 대해 조절값 $w_n$, 손실값 $L(w_n)$, 꼭짓점까지의 거리 $|w_n-3|$를 계산하고, 회차를 가로축, 손실값을 세로축으로 하는 꺾은선그래프를 작성하였다. 계산식은 $w_{n+1}=w_n-2η(w_n-3)$이며 시작값은 $w_0=10$이다.

$η=0.1$에서는 $w$가 처음부터 끝까지 축의 오른쪽에 머물면서 $10$에서 약 $3.752$로 이동하였다. 꼭짓점까지의 거리는 매회 이전 거리의 $0.8$배가 되었고, 손실값은 $50$에서 약 $1.565$로 꾸준히 감소하였다. 따라서 이 조건은 축을 넘지 않아 안정적이지만, 10회 후에도 최솟값 $1$에 도달하지 못한 느린 수렴으로 해석하였다.

$η=0.5$에서는 첫 갱신에서 $w_1=3$이 되어 꼭짓점에 정확히 도달하였다. 이후에는 $w-3=0$이므로 이동량도 $0$이 되어 손실값 $1$을 유지한다. 세 조건 중 이 모형에서는 꼭짓점까지의 이동 후 위치가 축과 정확히 일치하므로 가장 빠르고 안정적인 경우라고 판단하였다.

한편 계산 규칙에 $η=1.2$를 그대로 대입하면 $w_{n+1}-3=-1.4(w_n-3)$가 된다. 따라서 위치는 축의 양쪽을 번갈아 넘지만 거리는 매회 $1.4$배가 되어 줄지 않고 커지며, 손실값도 증가한다. 처음 예상했던 ‘거리가 0.4배로 감소하는 진동 수렴’은 주어진 식과 맞지 않음을 계산으로 확인하였다. 축에 대해 대칭인 두 점은 같은 손실값을 갖지만, 여기서는 매번 대칭점으로 이동하는 것이 아니라 축 반대편의 더 먼 점으로 이동하므로 손실이 반복 감소하지 않는다. 이 결과는 학습률이 크다고 해서 항상 빠른 수렴이 보장되는 것은 아니라는 판단의 근거가 되었다.^[6]