將文本文檔轉換為帶有TFIDFECTORIZER的TF-IDF矩陣

本文解釋了術語“頻率分析”頻率（TF-IDF）技術，這是一種自然語言處理（NLP）的關鍵工具，用於分析文本數據。 TF-IDF通過基於文檔中的頻率加權術語來超越基本單詞袋方法的局限性，並在文檔集合中稀有。這種增強的權重改善了文本分類，並提高了機器學習模型的分析能力。我們將演示如何從Python中從頭開始構建TF-IDF模型並執行數值計算。

目錄

• TF-IDF中的關鍵術語
• 解釋的術語頻率（TF）
• 文檔頻率（DF）解釋了
• 逆文件頻率（IDF）解釋了
• 了解TF-IDF
  • 數值TF-IDF計算
  • 步驟1：計算術語頻率（TF）
  • 步驟2：計算逆文檔頻率（IDF）
  • 步驟3：計算TF-IDF
• 使用內置數據集實現Python
  • 步驟1：安裝必要的庫
  • 步驟2：導入庫
  • 步驟3：加載數據集
  • 步驟4：初始化TfidfVectorizer
  • 步驟5：安裝和轉換文檔
  • 步驟6：檢查TF-IDF矩陣
• 結論
• 常見問題

TF-IDF中的關鍵術語

在繼續之前，讓我們定義關鍵術語：

• t ：術語（單詞）
• D ：文檔（一組單詞）
• N ：語料庫中的文檔總數
• 語料庫：整個文檔集合

解釋的術語頻率（TF）

術語頻率（TF）量化特定文檔中一個項出現的頻率。更高的TF表明該文檔中的重要性更大。公式是：

文檔頻率（DF）解釋了

文檔頻率（DF）測量包含特定術語的語料庫中的文檔數量。與TF不同，它計算出一個術語的存在，而不是其出現。公式是：

df（t）=包含術語t的文檔數量

逆文件頻率（IDF）解釋了

逆文檔頻率（IDF）評估單詞的信息性。雖然TF平等地對待所有術語，但IDF會減小常用單詞（例如停止單詞）和上級稀有術語。公式是：

其中n是文檔總數，而df（t）是包含術語t的文檔數量。

了解TF-IDF

TF-IDF結合了項頻率和反向文檔頻率，以確定文檔中相對於整個語料庫的術語意義。公式是：

數值TF-IDF計算

讓我們用示例文檔說明數值TF-IDF計算：

文件：

1. “天空是藍色的。”
2. “今天的陽光很燦爛。”
3. “天空中的陽光很燦爛。”
4. “我們可以看到閃閃發光的陽光，燦爛的陽光。”

按照原始文本中概述的步驟，我們計算每個文檔中每個術語的TF，IDF，然後計算TF-IDF。 （此處省略了詳細的計算，但它們反映了原始示例。）

使用內置數據集實現Python

本節將使用Scikit-Learn的TfidfVectorizer和20個新聞組數據集進行了TF-IDF計算。

步驟1：安裝必要的庫

PIP安裝Scikit-Learn

步驟2：導入庫

導入大熊貓作為pd
來自sklearn.datasets import fetch_20newsgroups
來自sklearn.feature_extraction.text導入tfidfvectorizer

步驟3：加載數據集

newsgroups = fetch_20newsgroups（subset ='train'）

步驟4：初始化TfidfVectorizer

 vectorizer = tfidfvectorizer（stop_words ='英語'，max_features = 1000）

步驟5：安裝和轉換文檔

tfidf_matrix = vectorizer.fit_transform（newsgroups.data）

步驟6：檢查TF-IDF矩陣

df_tfidf = pd.dataframe（tfidf_matrix.toArray（），columns = vectorizer.get_feature_names_out（））
df_tfidf.head（） 

結論

使用20個新聞組數據集和TfidfVectorizer ，我們有效地將文本文檔轉換為TF-IDF矩陣。該矩陣表示每個術語的重要性，從而實現了各種NLP任務，例如文本分類和聚類。 Scikit-Learn的TfidfVectorizer顯著簡化了這一過程。

常見問題

常見問題解答部分在很大程度上保持不變，解決了IDF的對數性質，對大數據集的可擴展性，TF-IDF的局限性（忽略單詞順序和上下文）以及常見的應用程序（搜索引擎，文本分類，群集，群集，摘要）。

以上是將文本文檔轉換為帶有TFIDFECTORIZER的TF-IDF矩陣的詳細內容。更多資訊請關注PHP中文網其他相關文章！