딥러닝 성장일지

엔트로피: 간단히 말하면, 어떤 정보의 불확실성을 어떠한 "정도"로 나타낸 것인데, 여기서 확률이 아닌 "정도"라고 하는 이유는 얼마든지 0보다 큰 수가 나올 수 있기 때문이다.  이게 애매모호 하다고 생각이 들면, 무언가 발생할 확률, 즉 무언가 발생하는 것을 예측하기 어려우면 어려울수록 엔트로피는 높아진다는 뜻이다. 엔트로피의 값 자체에 의미를 부여하려고 했지만, 실제로 엔트로피는 단순한 수에 불과하다고 마무리가 되었다. 마치 만렙이 얼마나 높은지 모르는 상태의 Lv을 보는 것이라고 할까, Lv 50이라고 봐도, 이게 높은지 낮은지 객관적으로 바라볼 수 없듯이 엔트로피 또한 그렇다.  동전 던지기의 엔트로피는 약 0.693, 6개의 면이 나오는 주사위의 엔트로피 같은 경우에는 약 1.79가 나온다. ..

딥러닝을 공부하다보면, 차원을 줄이면서 데이터 손실이 발생한다와, manifold 차원축소라면서 데이터를 잘 축소한다는 개념으로 나뉜다. 가장 흔히 사용되는 방법은 CNN이다. (여기서 CNN을 컨볼루션이라고 하는 사람들이 많지만, 실제로 컨볼루션이라고 보기는 어렵다, CNN을 이해하겠다고, 컨볼루션을 공부하면 큰일난다는 것이다) 이게 CNN에서 흔히 말하는 특징 추출을 의미하는 것이다. 당연히 그림처럼 저렇게 직관적이게 특징을 뽑지는 않는다, 실제로는 뭔지 모르게 그냥 물감 범벅 덩어리를 뽑아낸다. 하지만 manifold, AE에서는 latenet space(잠재 공간)이라고 부르는것이 있다.   잠재 공간은 기존에 있는 데이터들을 기반으로 어떠한 새로운 "범위"를 만들어, 기존의 값(실험에 사용한 데..

f1-score을 좀 이해하기 위해서는 우선 "조화평균"에 대해서 알아야 한다. (실제로는 단위를 맞추는게 중요하니, 구간별로 다르다는 것을 고려해야 하니 뭐니 좀 생각할게 많은데, 한 분야만 공부하는 장점은 하나의 성질만 파면 된다는 것이 있다 -> 아님 슬프고) 일반적인 평균(산술평균)은 값이 큰 값에 영향을 많이 끼치는 성질이 있다. 반면 조화 평균의 목적은 여러 변수를 조화롭게 (-> 어떻게 보면 다수의 의견을 따르겠다는 의미) 나타내는 선을 구하고 싶은 것이다.어떻게 보면, 누군가에게는 극단적으로 차별을 느끼게 할 수 있겠지만, 그럼에도 다수의 의견을 존중하는 것이다.  공식은 다음과 같다. 그렇다면 f1-score은 Recall과 Precision의 조화로운 값을 구하는 목표를 가지고 있다. ..