딥러닝 성장일지

Adam은 현재 딥러닝에서 가장 효율이 좋은 옵티마이져 중에 하나이다, Adam에 대해서 이해하기 위해서는 우선 Momentum과 RMSProp의 개념을 알아야 한다.  내용은 유튜브 혁펜하임님의 Easy! 딥러닝을 참고했다(ㅎㅎ... 역시 명강의야..)수식은 Adam을 설명하면서 하겠다. 우선 모멘텀은 다음과 같다 모멘텀은 이전의 그레디언트를 기억하라는 것이 중점이다. 당연히 가장 최신 그레디언트의 영향이 가장 크다.  이게 무슨 소리냐면 아래 그림과 같다.맨 처음에 이동했던 방향과 "반대 방향"으로 갈 경우, "엥 아까는 저기로 가라고 했었는데? 혹시 모르니까, 저쪽 방향도 고려해야겠다"인 것이라고 볼 수 있다. RMSProp은 다음과 같다. 그레디언트는 초기 랜덤한 시작점에 의해 각 변수마다 기울기..

딥러닝에서 빠질 수 없는 부문 중 하나는 "옵티마이져"다, 한국어로는 "최적화"라고 한다.  다차원 모델의 가장 최적화 되어 있는 지점을 찾기 위해서 온갖 수직을 가져다가 사용하고, 온갖 그림들이 나온다.차원이 많으면 많을 수록 사람의 눈으로 파악하기란 불가능하다(애초에 사람은 4차원을 시각적으로 파악하는 것은 불가능하다, 그저 스스로 나름대로의 정의를 내릴 뿐이다) 단순 3차원 공간으로도 이렇게 표현하면, 무언가 직관적이지 못하는 경우가 많다. 하지만, 이는 이러한 발상을 심어준다. 이는 물리학에서도 유명한 이론인데 "저차원에서는 해결 불가능 한것이, 고차원에서는 너무나도 쉽게 해결 가능할 수 있다" 물리학에서 가장 흔히 드는 비유가 나뭇가지의 그림자이다.서로 엉켜있고, 보기만 해도 복잡하고, 평면상에..

AutoEncoder 라는 말을 들으면, 요즘 사람들이 가장 많이 접하게 된 계기가 바로 GPT의 Transformer 모델이 이 AutoEncoder를 사용하기 때문일 것이다.  하지만 막상 트랜스포머 루트로 AutoEncoder를 보면, "별거 없는데? 그냥 이러한 구조를 AutoEncoder라고 하는구나"라는 생각이 들거나, 아니면 트랜스포머에서 새로나온 모델 구조인줄 아는 사람들도 있을 것이다(내가 그랬다). 하지만 AutoEncoder는 나름 역사 깊은 모델 구조이고, 이를 공부하는 이유는 이 모델의 철학을 알아야 하기 때문이다.  독학의 길을 걸은 나는 다른 석사 박사분들이랑 우연히 같이 수업을 듣게 되었는데, 박사과정을 밝고 계신 분이 이런말을 했다, "yolo 모델은 3? 아니면 5?부터..