tfidfvectorizer를 사용하여 텍스트 문서를 TF-IDF 행렬로 변환하십시오

이 기사에서는 텍스트 데이터 분석을위한 자연 언어 처리 (NLP)의 중요한 도구 인 TF-IDF (Trember Inverse Inverse Frequency) 기술이라는 용어를 설명합니다. TF-IDF는 문서 내의 빈도와 문서 모음에 대한 희귀 성을 기반으로 기본 단어 가방 접근법의 제한을 능가합니다. 이 향상된 가중치는 텍스트 분류를 향상시키고 기계 학습 모델의 분석 기능을 향상시킵니다. 파이썬에서 처음부터 TF-IDF 모델을 구성하고 수치 계산을 수행하는 방법을 보여줍니다.

목차

• TF-IDF의 핵심 용어
• 용어 빈도 (TF)가 설명되었습니다
• 문서 주파수 (DF)가 설명되었습니다
• 역 문서 주파수 (IDF)가 설명되었습니다
• TF-IDF 이해
  • 수치 TF-IDF 계산
  • 1 단계 : 용어 주파수 계산 (TF)
  • 2 단계 : 역 문서 주파수 (IDF) 계산
  • 3 단계 : TF-IDF 계산
• 내장 데이터 세트를 사용한 Python 구현
  • 1 단계 : 필요한 라이브러리 설치
  • 2 단계 : 라이브러리 가져 오기
  • 3 단계 : 데이터 세트로드
  • 4 단계 : TfidfVectorizer 초기화
  • 5 단계 : 문서를 맞추고 변환합니다
  • 6 단계 : TF-IDF 행렬 검사
• 결론
• 자주 묻는 질문

TF-IDF의 핵심 용어

진행하기 전에 주요 용어를 정의해 봅시다.

• T : 용어 (개별 단어)
• D : 문서 (단어 세트)
• N : 코퍼스의 총 문서 수
• 코퍼스 : 전체 문서 모음

용어 빈도 (TF)가 설명되었습니다

용어 주파수 (TF)는 특정 문서에 용어가 얼마나 자주 나타나는지 정량화합니다. TF가 높을수록 해당 문서 내에서 더 중요한 중요성을 나타냅니다. 공식은 다음과 같습니다.

문서 주파수 (DF)가 설명되었습니다

문서 주파수 (DF)는 특정 용어를 포함하는 코퍼스 내 문서 수를 측정합니다. TF와 달리, 그것은 그 사건이 아니라 용어의 존재를 계산합니다. 공식은 다음과 같습니다.

df (t) = 용어 t를 포함하는 문서 수

역 문서 주파수 (IDF)가 설명되었습니다

역 문서 주파수 (IDF)는 단어의 정보를 평가합니다. TF는 모든 용어를 동일하게 취급하지만 IDF는 공통 단어 (예 : 단어 중지)와 Upweights를 드문 용어를 다운 웨드 중량을 downge습니다. 공식은 다음과 같습니다.

여기서 n은 총 문서 수이고 df (t)는 용어 t를 포함하는 문서 수입니다.

TF-IDF 이해

TF-IDF는 용어 주파수와 역 문서 주파수를 결합하여 전체 코퍼스에 대한 문서 내에서 용어의 중요성을 결정합니다. 공식은 다음과 같습니다.

수치 TF-IDF 계산

예제 문서와 함께 수치 TF-IDF 계산을 설명하겠습니다.

서류:

1. "하늘은 푸른 색입니다."
2. "오늘은 태양이 밝습니다."
3. "하늘의 태양은 밝습니다."
4. "우리는 빛나는 태양, 밝은 태양을 볼 수 있습니다."

원본 텍스트에 요약 된 단계에 따라 각 문서의 각 용어에 대해 TF, IDF 및 TF-IDF를 계산합니다. (자세한 계산은 간결하게 설명되어 있지만 원래 예제를 반영합니다.)

내장 데이터 세트를 사용한 Python 구현

이 섹션에서는 Scikit-Learn의 TfidfVectorizer 및 20 개의 뉴스 그룹 데이터 세트를 사용한 TF-IDF 계산을 보여줍니다.

1 단계 : 필요한 라이브러리 설치

 PIP Scikit-Learn을 설치하십시오

2 단계 : 라이브러리 가져 오기

 팬더를 PD로 가져옵니다
sklearn.datasets import fetch_20newsgroups
sklearn.feature_extraction.text import tfidfvectorizer에서

3 단계 : 데이터 세트로드

 NewsGroups = fetch_20NewsGroups (subset = 'train')

4 단계 : TfidfVectorizer 초기화

 Vectorizer = tfidfvectorizer (stop_words = 'English', max_features = 1000)

5 단계 : 문서를 맞추고 변환합니다

 tfidf_matrix = vectorizer.fit_transform (newsgroups.data)

6 단계 : TF-IDF 행렬 검사

 df_tfidf = pd.dataframe (tfidf_matrix.toarray (), columns = vectorizer.get_feature_names_names_out ())
df_tfidf.head () 

결론

20 NewsGroups 데이터 세트 및 TfidfVectorizer 사용하여 텍스트 문서를 TF-IDF 행렬로 효율적으로 변환합니다. 이 행렬은 각 용어의 중요성을 나타내므로 텍스트 분류 및 클러스터링과 같은 다양한 NLP 작업이 가능합니다. Scikit-Learn의 TfidfVectorizer 이 프로세스를 크게 단순화합니다.

자주 묻는 질문

FAQS 섹션은 IDF의 로그 특성, 대규모 데이터 세트에 대한 확장 성, TF-IDF의 한계 (단어 순서 및 컨텍스트 무시) 및 일반적인 응용 프로그램 (검색 엔진, 텍스트 분류, 클러스터링, 요약)을 다루며 크게 변경되지 않았습니다.

위 내용은 tfidfvectorizer를 사용하여 텍스트 문서를 TF-IDF 행렬로 변환하십시오의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!