[AI 서비스 개발] NLP 감정 분석 모델 비교(허깅페이스)

1. 가상환경 준비 및 transformers 설치

conda create -n nlp python=3.12
conda activate nlp
pip install transformers
pip install torch

 

2. Task : Text Classification 중 sentiment

- 24.12.30 기준 트렌딩 모델 살펴보기

No	추론기	용도
1	ProsusAI/finbert	주식 뉴스가 긍정인지 부정인지(중립/긍정/부정)
2	tabularisai/multilingual-sentiment-analysis	다국어(한국어지원) 감정 분석(매우부정, 부정, 중립, 긍정, 매우긍정)
3	distilbert/distilbert-base-uncased-finetuned-sst-2-english	감정 이진 분류 (긍정/부정)
4	Alibaba-NLP/gte-multilingual-reranker-base	다국어, 문장 임베딩 및 검색결과/질문-답 쌍 평가 후 관련성 높은 순서로 재정렬
5	papluca/xlm-roberta-base-language-detection	다국어(한국어 없음), 어느 나라 말인지(20개국 지원)
6	BAAI/bge-reranker-v2-m3	질문-답 : 검색된 문서 리스트를 최적의 순서로 재정렬
7	SamLowe/roberta-base-go_emotions	28가지 감정 분석
8	mrm8488/distilroberta-finetuned-financial-news-sentiment-analysis	금융 감정 (부정/중립/긍정)
9	nlptown/bert-base-multilingual-uncased-sentiment	다국어(한국어 없음), 1~5점 리뷰 감정 분석
10	ElKulako/cryptobert	암호화폐 관련 소셜미디어 감성 분석(하락세,중립,상승세)
11	michellejieli/emotion_text_classifier	감정 분석(놀람, 중립, 두려움, 화남, 역거운, 슬픔, 즐거움)
12	KoalaAI/Text-Moderation	공격적 감정 분석(성적, 싫어하는, 폭행, 괴롭힘, 자해 등)
13	jinaai/jina-reranker-v2-base-multilingual	다국어, 쿼리-문서 쌍 재정렬
14	finiteautomata/bertweet-base-sentiment-analysis	감정 분석(긍정, 부정, 중립), 트윗으로 학습된 모델
15	unitary/toxic-bert	악성 댓글 분류(모욕, 정체성 증오, 위협 등)
16	JungleLee/bert-toxic-comment-classification	유해/무해 이진 분류
17	kk08/CryptoBERT	금융 텍스트 긍정/부정 이진분류
18	BAAI/bge-reranker-base	문서 검색, 재정렬
19	HuggingFaceFW/fineweb-edu-classifier	텍스트가 교육적인가(0~5점)
20	HuggingFaceTB/finemath-classifier	텍스트가 수학 교육에 탁월한가(0~5점)
	한국어 검색기준
-	WhitePeak/bert-base-cased-Korean-sentiment	한국어, 부정/긍정 이진분류
-	beomi/korean-hatespeech-multilabel	한국어, 싫어함, 공격적인, 성별, 기타
-	matthewburke/korean_sentiment	한국어, 긍정 점수 (확률)
-	hun3359/klue-bert-base-sentiment	한국어, 60개 감정 분석 base- KlueBERT기반, AI허브 감성대화 데이터
-	rkdaldus/ko-sent5-classification	한국어, 감정 분석 (분노,두려움,기쁨,평온,슬픔) base- KoBERT기반, AI허브 감성대화 데이터
-	jeonghyeon97/koBERT-Senti5	한국어, 감정 분석 (분노,두려움,기쁨,평온,슬픔) base- KoBERT기반, AI허브 감성대화 데이터
-	heegyu/kodialogpt-v1	한국어, 답변 생성
-	byeolki/Llama-KoEmpathy	한국어, 답변 생성