[기술면접] 엔트로피(entropy)와 Information Gain에 대해 설명해주세요.
Q. 엔트로피(Entropy)와 Information Gain에 대해 설명해주세요. 1. 엔트로피란?- 주로 의사결정 트리나, 데이터 분석 시 데이터셋이 얼마나 정돈되어있는지, 혼란스러운지 데이터의 불확실성을 측정할 때 사용- 데이터의 불확실성을 측정하는 척도- 엔트로피가 0 : 완전 확실 → 완벽하게 분류된 상태 (모델의 분류가 명확)- 엔트로피가 항상 낮은 상태를 목표로 하면 과적합의 문제가 발생할 수 있다.- 확률이 균등하게 분포된다 → 엔트로피가 높다 2. 정보이득이란?- 주로 의사결정 트리, 랜덤 포레스트에서 사용됨- 특정 속성을 기준으로 데이터를 분할 했을 때 엔트로피가 얼마나 감소했는지를 측정- 분할 후 분류가 명확할수록(엔트로피가 감소할 수록) 정보 이득이 크다- 의사결정 트리에서 분할 기..
AI/기술면접준비
2024. 12. 11. 23:55
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 실기
- 습관
- IH
- Python
- 운동
- 프로그래머스
- 경제
- 갓생
- Ai
- 스크랩
- 다이어트
- 티스토리챌린지
- llm
- 오픽
- opic
- 줄넘기
- 오블완
- SQL
- 뉴스
- C언어
- ChatGPT
- 고득점 Kit
- 루틴
- 미라클모닝
- 30분
- 기초
- 영어회화
- 아침
- 아침운동
- 빅데이터 분석기사
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함