신경망 직관 — 작은 계산이 모여 판단이 된다

1.인공 뉴런 하나가 하는 일

인공 신경망이라는 이름은 뇌의 신경세포에서 빌려 왔지만, 실제로 하는 일은 아주 단순한 계산입니다. 인공 뉴런 하나는 여러 개의 입력을 받아 각각에 '중요도'를 곱하고, 모두 더한 뒤, 그 합을 한 번 걸러서 내보냅니다. 이 중요도를 가중치라고 하고, 곱해서 더한 값을 가중합이라고 합니다.

마지막의 '거르는' 단계를 활성화라고 부릅니다. 가장 흔히 쓰는 방식 중 하나는 합이 0보다 작으면 0을 내보내고, 0 이상이면 그대로 내보내는 것입니다. 이 단순한 꺾임이 있어야 뉴런을 여러 층 쌓았을 때 직선 하나로는 표현할 수 없는 복잡한 관계를 나타낼 수 있습니다.

2.가중치가 곧 배운 내용이다

위의 예에서 비 올 확률의 가중치 4는 '비 올 확률이 판단에 크게 영향을 준다'는 뜻이고, 편향 −2는 '웬만하면 우산을 안 챙기는 쪽'으로 기본값을 낮춰 둔 것입니다. 이 숫자들을 사람이 정해 주면 규칙 기반 프로그램이고, 데이터를 보며 기계가 정하게 하면 학습입니다.

신경망의 학습이란 결국 이 가중치와 편향을 조정하는 일입니다. 2강에서 본 것처럼 예측과 정답의 차이(손실)를 재고, 손실이 줄어드는 방향으로 모든 가중치를 조금씩 고칩니다. 실제 신경망에는 이런 가중치가 적게는 수천 개, 큰 모델에는 수천억 개가 넘게 있습니다. 그래서 학습에 많은 데이터와 계산이 필요합니다.

중요한 점은 학습이 끝난 신경망 안에 '고양이는 귀가 뾰족하다' 같은 문장이 저장되어 있지 않다는 것입니다. 배운 내용은 수많은 가중치의 값으로 흩어져 있습니다. 신경망이 왜 그렇게 판단했는지 사람이 설명하기 어려운 이유가 여기에 있습니다.

3.층을 쌓으면 무엇이 달라지나

뉴런을 나란히 여러 개 놓으면 층이 되고, 한 층의 출력을 다음 층의 입력으로 넘기면 여러 층의 신경망이 됩니다. 입력을 받는 층과 결과를 내는 층 사이의 층을 은닉층이라고 하며, 은닉층이 많은 신경망으로 배우는 것을 딥러닝이라고 합니다. '딥(깊은)'은 층이 깊다는 뜻입니다.

층이 깊어지면 단계적으로 더 복잡한 특징을 잡아낼 수 있습니다. 사진을 알아보는 신경망을 분석해 보면 앞쪽 층은 선과 모서리 같은 단순한 무늬에, 중간 층은 눈이나 바퀴 같은 부분에, 뒤쪽 층은 얼굴이나 자동차 같은 전체 모양에 반응하는 경향이 관찰됩니다. 사람이 '모서리를 찾아라'라고 시킨 것이 아니라 학습 과정에서 그렇게 나뉜 것입니다.

4.손으로 계산해 보는 작은 신경망

층을 쌓는다는 말이 실제로 어떤 계산인지, 입력 2개 → 은닉 뉴런 2개 → 출력 1개인 아주 작은 신경망으로 직접 따라가 보겠습니다. 숫자는 설명을 위해 정한 것입니다. 은닉 뉴런은 앞에서 본 활성화(음수면 0, 아니면 그대로)를 쓰고, 출력 뉴런은 가중합을 그대로 내보낸다고 하겠습니다.

계산 순서는 늘 같습니다. 앞 층의 출력이 다음 층의 입력이 되고, 뉴런마다 '곱해서 더하고, 거르기'만 합니다. 이렇게 입력에서 출력 쪽으로 차례로 계산해 나가는 것을 순전파라고 부릅니다. 두 번째 예제는 그 결과를 보고 가중치를 한 번 고치는 학습의 한 걸음입니다.

5.신경망은 뇌가 아니다

이름 때문에 신경망이 뇌를 그대로 흉내 낸다고 오해하기 쉽습니다. 실제로는 뇌에서 '많은 단위가 연결되어 신호를 주고받는다'는 아이디어만 빌려 왔을 뿐, 작동 방식은 크게 다릅니다. 인공 뉴런은 곱셈과 덧셈을 하는 수식이고, 학습도 사람의 경험과는 다른 수학적 최적화입니다.

그래서 신경망이 사람처럼 이해하거나 느낀다고 말하는 것은 정확하지 않습니다. 반대로 '그냥 계산일 뿐이니 별것 아니다'라고 무시하는 것도 정확하지 않습니다. 단순한 계산이 엄청난 규모로 모이면 사람이 놀랄 만큼 정교한 결과가 나옵니다. 둘 다 사실이라는 점을 함께 기억하는 것이 균형 잡힌 이해입니다.