728x90 Information Gain1 지니(Gini) vs 엔트로피(Entropy) 그리고 정보 이득량(Information Gain) 안녕하세요, 끙정입니다. 오늘은 Tree Based Method에서 파티션(노드)을 분할할 때 기준으로 쓰이는 두 가지 측정방법, Gini(지니)와 Entropy(엔트로피)를 알아보겠습니다. 그리고 추가로 Information Gain(정보 이득량)을 통해서 Tree가 어떻게 Nodes를 펼쳐 나가는지 알아보겠습니다. 딥러닝에서는 크로스 엔트로피를 손실 함수로 사용하기 때문에 엔트로피는 익숙하신 분도 계실 겁니다. 지니도 엔트로피와 매우 유사하지만 조금은 헷갈립니다. 가정. 우리는 각기 다른 4개의 구슬이 담긴 3개의 주머니가 있습니다. 순도. 우리는 이제 기준으로 순도(Purity)를 이야기할 겁니다. 순도는 얼마나 순수한지에 대한 기준입니다. 여기서 순수의 개념은 homogeneity, 균질성입니다... 2021. 4. 30. 이전 1 다음 728x90
