교차 엔트로피(Cross Entropy)

📚교차 엔트로피 

✅ 엔트로피 

• 정의 : 정보이론에서 나온 개념으로, 변수의 불확실성을 나타내는 지표이다. 

엔트로피는 확률분포 p를 가지는 변수 X에 대해서 아래와 같이 정의된다. 

• X가 특정한 값을 가질 확률이 1인 경우에 엔트로피는 최솟값이 된다. 

이 때의 엔트로피 값은 0이다. 즉, 불확실성이 감소할수록 엔트로피 값은 작아진다. 

 

• 반대로 각 값을 가질 확률이 동일한 경우, 즉 위의 경우는 p(X=k) = 1/K 인 경우 최대 (이러한 경우 불확실성이 제일 크다는 것을 의미)

 

 

 

✅ 교차 엔트로피 

X가 q와 p 분포를 가진 경우

정의 : 엔트로피는 하나의 변수가 가지는 확률 분포의 불확실성을 의미함. 교차 엔트로피틑 하나의 변수(X)가 가질 수 있는 서로 다른 분포(p, q)를 가질 경우, 해당 분포들의 차이를 의미함. 

 

 

 

 

✅ 머신러닝 분류 문제 

p(X=k)는 실제값, q(X=k)는 예측값일 때

차이가 크면 클수록 모형의 설명력이 나쁜 것이다. 

 

 

 

종속변수가 3개 이사인 경우에 

 

 

 

 

---

📚  Reference