AI를 이해하는 수학

1.벡터 — 무엇이든 숫자 목록으로

AI는 글자도, 사진도, 취향도 숫자의 목록으로 바꾸어 다룹니다. 이 숫자 목록을 벡터라고 합니다. 영화 취향을 (액션, 로맨스, 코미디) 선호도로 나타내면 지수는 [5, 1, 3], 민호는 [4, 2, 3], 서연은 [1, 5, 2]처럼 쓸 수 있습니다. 언어 모델은 단어나 단어 조각 하나를 수백에서 수천 개의 숫자로 이루어진 벡터로 바꾸는데, 원리는 이 세 숫자짜리 예와 같습니다.

벡터가 두 개 있으면 '얼마나 비슷한가'를 계산할 수 있습니다. 6강에서 본 두 점 사이의 거리가 한 방법이고, AI에서 더 자주 쓰는 방법이 내적과 코사인 유사도입니다.

2.내적과 코사인 유사도

내적은 두 벡터의 같은 자리 숫자끼리 곱해 모두 더한 값입니다. 두 사람이 같은 항목을 함께 좋아할수록 큰 수끼리 곱해져 내적이 커집니다. 다만 내적은 숫자가 전체적으로 큰 벡터에서 무조건 커지므로, 벡터의 크기(길이)로 나누어 방향만 비교한 것이 코사인 유사도입니다.

코사인 유사도는 −1부터 1 사이의 값입니다. 1에 가까우면 같은 방향(취향이 비슷함), 0이면 서로 관계없는 방향(직각), −1이면 정반대입니다. 검색이나 추천에서 '의미가 비슷한 문서 찾기'는 대개 이 값을 계산해 큰 순서로 고르는 일입니다.

3.행렬 곱 — 가중합을 한꺼번에

신경망의 뉴런 하나가 하는 일은 단순합니다. 입력마다 가중치를 곱해 더하고(가중합), 편향을 더한 뒤, 그 결과를 정해진 규칙으로 한 번 변환합니다. 가장 흔한 규칙 중 하나는 음수면 0으로, 양수면 그대로 두는 것입니다. 입력 [2, 3], 가중치 [0.5, −1], 편향 1이라면 0.5×2 + (−1)×3 + 1 = −1이고, 음수이므로 0을 내보냅니다.

뉴런이 여러 개면 가중합을 여러 번 해야 합니다. 이것을 한 번에 적는 방법이 행렬입니다. 행렬의 각 행이 뉴런 하나의 가중치이고, 행렬과 벡터의 곱은 '행마다 입력 벡터와 내적하기'입니다. 거대한 AI 모델의 계산 대부분이 이 행렬 곱이며, 그래서 행렬 곱을 빠르게 하는 전용 칩이 중요해졌습니다.

4.손실 함수 — 얼마나 틀렸는지 숫자로

모델이 배우려면 먼저 '얼마나 틀렸는가'를 숫자 하나로 재야 합니다. 이 숫자를 내는 함수를 손실 함수라고 합니다. 숫자를 예측하는 모델에서 자주 쓰는 것이 평균제곱오차(MSE)입니다. 예측과 정답의 차이(오차)를 제곱해 평균 낸 값으로, 8강의 분산과 모양이 거의 같습니다.

제곱을 하는 이유는 두 가지입니다. 오차가 양수든 음수든 모두 '틀림'으로 세기 위해서, 그리고 크게 틀린 것을 더 무겁게 벌주기 위해서입니다. 오차가 2면 4, 오차가 4면 16이 됩니다.

5.기울기와 경사 하강법

손실을 줄이려면 가중치를 어느 쪽으로 고쳐야 할까요? 안개 낀 산에서 골짜기로 내려가는 사람을 떠올려 보세요. 멀리는 안 보이지만 발밑의 경사는 느낄 수 있습니다. 내리막 쪽으로 한 걸음 옮기고, 다시 경사를 느끼고, 또 한 걸음 옮깁니다. 4강에서 본 '한 점에서의 기울기'가 바로 이 발밑의 경사이고, 이렇게 내려가는 방법이 경사 하강법입니다.

가장 간단한 예로 손실이 L(w) = (w − 3)²인 경우를 봅시다. w = 3일 때 손실이 0으로 가장 작습니다. 이 함수의 기울기는 2(w − 3)입니다. w가 3보다 작으면 기울기가 음수라 w를 키워야 하고, 크면 양수라 줄여야 합니다. 그래서 '새 w = w − 학습률 × 기울기'로 고칩니다. 학습률은 한 걸음의 크기입니다.

실제 모델은 가중치가 수십억 개일 수 있지만, 하는 일은 같습니다. 가중치마다 '이것을 조금 바꾸면 손실이 얼마나 변하는가'(기울기)를 계산해, 손실이 줄어드는 쪽으로 조금씩 고치기를 수없이 반복합니다.