딥러닝에서 수학은 도대체 무엇일까?

딥러닝을 공부하다보면, 여러가지 수식들이 항상 보이지만, 그에 못지 않게 수식으로는 이해가 잘 안가는 개념들도 많기 때문에 너무나도 헷갈리는 경우가 많다. 

 

수학적인 성향이 강한 사람은 나에게 "AI는 함수다" 라는 말을 강조했다. 

수학적인 성향이 강하지는 않지만, AI에 학구열이 누구보다도 넘치는 사람은 "AI는 함수가 맞는데, 이걸 사람이라고 생각해보자"라는 말을 하면서, 이렇게 하면 모델 관련 논문을 볼 때 시각이 달라지다는 말을 덧붙였다. 

 

실제로 사람이라고 생각을 하면서 접근을 하니, 받아들여지는게 남달랐다. 그 상태로 다시 수학을 머릿속으로 복기를 했는데, 애초에 수학은 "엄밀한 계산"이라고 보면 안된다. 

 

수학은 "무언가를 수로 표시하자"라는 발상을 까먹으면 안된다. 좌표값이 (37, 128)과 같은 무작위 숫자를 주고 이 좌표가 있는 영역에 어떠한 의미를 주는 것이지, "숫자"자체에 의미를 주는 것은 아니지 않을까? 라는 생각이 들었다. 

 

다른 간단한 예시를 들자면, 책 109페이지 라고 하면, 109페이지에 정말로 중요한 내용이 담겨 있다고 하자, 그럼 사람들은 109라는 "숫자"에 의미를 부여하지만, 실제로 "숫자 109" 자체에는 의미가 담기지 않는다는 것이다. 

 

이것이 딥러닝에서 반복적인 복잡한 연산을 거쳐도 중요한 정보를 의미 자체를 잃지 않는다는 논리와 연관시켜보았다(실제로는 공간이란 무엇인가, 근사란 무엇인가 와 같은 여러가지 생각을 걸쳐서 나온 결론이다)