[데이터분석] Feature Selection과 Feature Engineering 가이드

데이터 분석에서 **특성 선택(Feature Selection)**과 **특성 엔지니어링(Feature Engineering)**은 모델의 성능을 향상시키고, 예측력을 높이는 데 필수적인 단계입니다. 이 과정은 데이터를 단순히 입력하는 것이 아니라, 데이터를 최적화된 형태로 변환하여 모델이 더 정확하고 효율적으로 학습할 수 있도록 돕는 역할을 합니다.

이번 포스팅에서는 특성 선택과 특성 엔지니어링이 무엇인지, 그리고 어떻게 수행하는지에 대해 알아보겠습니다.

---

1. 특성 선택(Feature Selection)이란?

**특성 선택(Feature Selection)**은 모델 학습에 꼭 필요한 **중요한 특성(변수)**만 남기고, 불필요한 특성은 제거하는 과정입니다. 머신러닝 모델은 많은 특성에 노출될 때 과적합(overfitting)되거나, 성능이 떨어질 수 있습니다. 따라서, 데이터를 단순화하고 성능을 최적화하기 위해 특성 선택을 진행합니다.

1.1 특성 선택의 중요성

• 모델 성능 향상: 중요한 특성만 남기면 모델이 더 빠르고, 정확하게 학습할 수 있습니다.
• 과적합 방지: 불필요한 특성을 제거하면 모델이 특정 데이터에 과적합하는 것을 방지할 수 있습니다.
• 해석 가능성 증가: 중요한 특성만 남기면 모델을 해석하기가 더 쉬워집니다.

1.2 특성 선택 방법

1.2.1 필터 방법(Filter Method)

필터 방법은 모델 학습과 상관없이 각 특성의 통계적 중요도를 계산한 후, 중요한 특성만 선택하는 방식입니다.

• 상관계수(Correlation Coefficient): 독립 변수와 종속 변수 간의 상관관계를 측정하여 중요한 특성을 선택합니다.

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# 상관관계 계산 및 히트맵 시각화
corr_matrix = df.corr()
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
plt.show()

• 카이제곱 검정(Chi-Square Test): 범주형 변수와 결과 변수 간의 관계를 분석해 중요 특성을 선택합니다.

1.2.2 래퍼 방법(Wrapper Method)

래퍼 방법은 모델 성능을 기준으로 특성을 선택하는 방식입니다. 이를 위해 다양한 특성 조합을 사용해 모델을 학습시키고, 그 성능을 비교합니다.

• 전진 선택(Forward Selection): 하나의 특성에서 시작해, 중요한 특성을 차례로 추가해 모델 성능이 향상되는지를 확인.
• 후진 제거(Backward Elimination): 모든 특성에서 시작해, 중요하지 않은 특성을 하나씩 제거하면서 모델 성능을 분석.

1.2.3 임베디드 방법(Embedded Method)

임베디드 방법은 모델 학습 과정에서 특성 중요도를 평가하여 중요한 특성을 선택합니다. 대표적인 방법은 Lasso 회귀와 **트리 기반 모델(Random Forest, XGBoost)**에서 제공하는 특성 중요도 분석입니다.

• Lasso 회귀: 가중치가 0인 특성을 자동으로 제거하여 중요한 특성만 남깁니다.

from sklearn.linear_model import Lasso
model = Lasso(alpha=0.1)
model.fit(X_train, y_train)
important_features = [feature for feature, coef in zip(X.columns, model.coef_) if coef != 0]
print(important_features)

• 랜덤포레스트(Random Forest): 각 특성의 중요도를 평가하여 상위 특성만 선택합니다.

from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier()
model.fit(X_train, y_train)

feature_importances = model.feature_importances_
important_features = pd.Series(feature_importances, index=X_train.columns).sort_values(ascending=False)
print(important_features)

---

2. 특성 엔지니어링(Feature Engineering)이란?

**특성 엔지니어링(Feature Engineering)**은 데이터를 변환하거나 새로운 특성을 만들어내어 모델의 성능을 높이는 과정입니다. 이는 원시 데이터를 새로운 정보로 바꾸어, 모델이 더 나은 패턴을 찾도록 도와주는 작업입니다.

2.1 특성 엔지니어링의 중요성

특성 엔지니어링은 모델 성능 향상에 큰 영향을 미칩니다. 원시 데이터에 중요한 정보가 숨어 있을 수 있는데, 이를 추가적인 특성으로 표현함으로써 모델의 예측력을 높일 수 있습니다.

2.2 특성 엔지니어링 방법

2.2.1 특성 생성(Feature Creation)

기존 데이터를 기반으로 새로운 특성을 만들어내는 과정입니다. 예를 들어, 날짜 데이터에서 '연도', '월', '요일' 등의 정보를 추출하거나, 두 변수의 비율이나 곱 등을 계산하여 새로운 정보를 생성할 수 있습니다.

• 날짜 특성 생성:

df['year'] = pd.to_datetime(df['date']).dt.year
df['month'] = pd.to_datetime(df['date']).dt.month
df['day_of_week'] = pd.to_datetime(df['date']).dt.dayofweek

• 비율 특성 생성: 두 특성 간의 비율을 계산하여 새로운 특성 생성.

df['feature_ratio'] = df['feature1'] / df['feature2']

2.2.2 로그 변환(Log Transformation)

데이터가 비대칭적 분포를 따를 때 로그 변환을 통해 분포를 정규화할 수 있습니다. 특히 큰 값이 많은 경우 이 변환을 통해 모델 성능을 높일 수 있습니다.

• 로그 변환 적용:

import numpy as np
df['log_feature'] = np.log1p(df['feature'])  # log(1+x) 변환

2.2.3 원-핫 인코딩(One-Hot Encoding)

범주형 변수는 숫자형 변수로 변환해야 모델이 이를 이해할 수 있습니다. 원-핫 인코딩은 범주형 데이터를 0과 1로 이루어진 이진 변수로 변환합니다.

• 원-핫 인코딩 예시:

df_encoded = pd.get_dummies(df, columns=['category_feature'])

2.2.4 상호작용 특성(Interaction Features)

두 개 이상의 특성을 결합하여 새로운 정보를 만들어냅니다. 두 변수의 곱, 나눗셈 등을 통해 상호작용하는 정보를 생성할 수 있습니다.

• 곱을 사용한 상호작용 특성 생성:

df['interaction_feature'] = df['feature1'] * df['feature2']

---

3. 특성 선택과 엔지니어링의 결합

특성 선택과 특성 엔지니어링은 서로 보완적인 과정입니다. 먼저 데이터를 이해하고 불필요한 특성을 제거한 후, 새로운 중요한 정보를 담은 특성을 추가하면 모델 성능이 향상될 수 있습니다.

1. **EDA(탐색적 데이터 분석)**를 통해 특성 간 관계를 파악하고, 중요한 특성을 찾아내거나 변환이 필요한 특성을 확인.
2. 불필요한 특성을 제거하고, 새로운 특성을 생성하여 모델에 의미 있는 정보를 제공.
3. 최적의 특성 집합을 사용해 모델을 학습시키고, 성능을 평가한 후 필요에 따라 특성 엔지니어링을 반복.

---

결론

특성 선택과 특성 엔지니어링은 머신러닝 모델의 성능을 크게 향상시키는 중요한 과정입니다. 올바른 특성 선택과 엔지니어링을 통해 데이터의 가치를 극대화하고, 더 나은 예측력을 갖춘 모델을 만들 수 있습니다. 이 과정은 반복적으로 수행되며, 데이터에 맞는 최적의 특성을 찾는 것이 성공적인 모델링의 열쇠입니다.

특성 선택과 엔지니어링의 방법을 이해하고, 이를 데이터 분석 프로젝트에 적용해보세요!

---

이 포스팅을 통해 특성 선택과 엔지니어링의 개념과 방법을 이해할 수 있었기를 바랍니다. 여러분의 머신러닝 모델 성능을 높이는 데 큰 도움이 될 거예요! 😊