딥러닝 성장일지

딥러닝을 공부하다보면, 여러가지 수식들이 항상 보이지만, 그에 못지 않게 수식으로는 이해가 잘 안가는 개념들도 많기 때문에 너무나도 헷갈리는 경우가 많다.  수학적인 성향이 강한 사람은 나에게 "AI는 함수다" 라는 말을 강조했다. 수학적인 성향이 강하지는 않지만, AI에 학구열이 누구보다도 넘치는 사람은 "AI는 함수가 맞는데, 이걸 사람이라고 생각해보자"라는 말을 하면서, 이렇게 하면 모델 관련 논문을 볼 때 시각이 달라지다는 말을 덧붙였다.  실제로 사람이라고 생각을 하면서 접근을 하니, 받아들여지는게 남달랐다. 그 상태로 다시 수학을 머릿속으로 복기를 했는데, 애초에 수학은 "엄밀한 계산"이라고 보면 안된다.  수학은 "무언가를 수로 표시하자"라는 발상을 까먹으면 안된다. 좌표값이 (37, 128..

대학 수학을 독학한지 9개월중 4개월 정도 되었다. 그중에서 확률이란 그냥 간단한 녀석이라고 생각을 했었다.  확률의 개념 자체는 간단한게 맞다, 다만 응용 분야가 너무나도 다양해서 순간 이게 확률문제인지 뭔지 모르는 경우가 많았다.  딥러닝에서 시그모이드는 정말로 많이 쓰이는 활성화 합수이다. 이는 0과 1사이의 값을 내뱉으므로 확률적인 의미로도 많이 사용되늗데, 여기서 항상 의문이 들었다. 시그모이드가 단순히 0과 1사이의 값을 내뱉는다고 왜 확률적 의미가 되는 것일까? 만약에 3 혹은 4가 연달아서 나오면 둘다 확률이 90%가 넘는 값이 나온다는 것인데 이게 왜 확률을 나타내는 것인가? 라는 의문도 많이 들었다. (분명히 확률은 모든 경우의 수를 합하면 1이 되어야 하는데 말이다) 여기서 우리가 알..

행렬식은 부피다. 2차원이든 3차원이든 그림으로 그려보고 면적을 구하면, 놀랍게도 행렬식과 같은 값을 가지게 된다.  기억은 안나지만, 맨 처음에 아무렇게나 집었던 선형대수 교재에서는 행렬식을 행렬을 요약하는 수 라고 해석을 했다. 지금 생각하면, 도대체 그게 뭔 소리일까 생각이 든다.  그럼 행렬식의 숫자가 가지고 있는 의미는 무엇인가? 3D 작업을 하는 사람들 입장에서 부피를 나타내는 행렬식은 의미가 있을 수 있다. 하지만 딥러닝에서는 크게 의미가 없다고 생각을 한다.  책에서도 부피를 계산하는 법에 대해 많은 설명을 하지(가우스 소거법, 혹은 가우스 조던 소거법), 딱히 부피를 가지고 무엇을 하는 내용은 없다.  오히려 행렬식의 중요 의미는 행렬식의 값이 0이 되는가 아닌가에 중점을 두었다. 행렬은..