本文介绍了如何使用 Pandas 将文件名作为新列或索引添加到 DataFrame 中，特别是在处理从多个文本文件创建的文档-词项矩阵时。通过示例代码，详细展示了如何利用 Path 对象提取文件名，并将其应用于 DataFrame 的创建过程，从而实现更清晰的数据展示和分析。
在数据分析和处理中，经常需要将文件名信息与数据内容关联起来。尤其是在处理大量文本文件时，将文件名添加到 DataFrame 中可以方便地进行数据溯源和分组分析。本文将介绍如何使用 Pandas 实现这一目标，并提供具体代码示例。
方法一：将文件名设置为 DataFrame 的索引
最直接的方法是在创建 DataFrame 时，将文件名列表作为 index 参数传递给 pd.DataFrame() 构造函数。
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re
# 假设已经有了文本文件列表 corpus 和 count_array
# 以下代码片段展示如何将文件名设置为索引
# 1. 创建文件列表
corpus =[]
for fichier in Path("/Users/MyPath/files").rglob("*.txt"):
corpus.append(fichier.parent / fichier.name)
corpus.sort()
# 2. 创建示例文档数据
all_documents = []
for fichier_txt in corpus:
with open(fichier_txt) as f:
fichier_txt_chaine = f.read()
fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine)
all_documents.append(fichier_txt_chaine)
# 3. 使用CountVectorizer创建词频矩阵
coun_vect = CountVectorizer(stop_words= "english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()
# 4. 创建DataFrame，并将文件名设置为索引
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names(), index=corpus)
print(allDataframe)这段代码首先创建了一个包含文件路径的列表 corpus。然后，在创建 DataFrame 时，将 corpus 作为 index 传递给 pd.DataFrame()。这样，DataFrame 的每一行就对应一个文件名，方便后续的数据分析。
方法二：提取文件名并设置为索引
如果 corpus 包含的是 Path 对象，并且只需要文件名（例如 "1905.txt"）作为索引，可以使用列表推导式提取文件名：
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re
# 假设已经有了文本文件列表 corpus 和 count_array
# 以下代码片段展示如何提取文件名并设置为索引
# 1. 创建文件列表
corpus =[]
for fichier in Path("/Users/MyPath/files").rglob("*.txt"):
corpus.append(fichier.parent / fichier.name)
corpus.sort()
# 2. 创建示例文档数据
all_documents = []
for fichier_txt in corpus:
with open(fichier_txt) as f:
fichier_txt_chaine = f.read()
fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine)
all_documents.append(fichier_txt_chaine)
# 3. 使用CountVectorizer创建词频矩阵
coun_vect = CountVectorizer(stop_words= "english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()
# 4. 创建DataFrame，并将文件名设置为索引
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names(), index=[f.name for f in corpus])
print(allDataframe)这段代码使用 [f.name for f in corpus] 从 Path 对象列表中提取文件名，并将提取结果作为 index 传递给 pd.DataFrame()。
AI 舌诊面诊问诊医疗系统 + 诊疗商城系统源码是一套结合 AI 辅助诊断与商品转化的健康类程序，基于浩创云、ThinkPHP（PHP）开发，支持微信服务号与 H5 端，适合做中医舌诊面诊问答、健康建议推送以及配套诊疗商品的运营。
方法三：提取文件名（不带扩展名）并设置为索引
如果需要去除文件名中的扩展名（例如 ".txt"），可以使用 Path 对象的 stem 属性：
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re
# 假设已经有了文本文件列表 corpus 和 count_array
# 以下代码片段展示如何提取文件名（不带扩展名）并设置为索引
# 1. 创建文件列表
corpus =[]
for fichier in Path("/Users/MyPath/files").rglob("*.txt"):
corpus.append(fichier.parent / fichier.name)
corpus.sort()
# 2. 创建示例文档数据
all_documents = []
for fichier_txt in corpus:
with open(fichier_txt) as f:
fichier_txt_chaine = f.read()
fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine)
all_documents.append(fichier_txt_chaine)
# 3. 使用CountVectorizer创建词频矩阵
coun_vect = CountVectorizer(stop_words= "english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()
# 4. 创建DataFrame，并将文件名（不带扩展名）设置为索引
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names(), index=[f.stem for f in corpus])
print(allDataframe)这段代码使用 [f.stem for f in corpus] 从 Path 对象列表中提取不带扩展名的文件名，并将提取结果作为 index 传递给 pd.DataFrame()。
方法四：将文件名作为新列添加到 DataFrame
除了将文件名设置为索引，还可以将其作为新列添加到 DataFrame 中。首先创建 DataFrame，然后添加新列：
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer
from pathlib import Path
import re
# 假设已经有了文本文件列表 corpus 和 count_array
# 以下代码片段展示如何将文件名作为新列添加到 DataFrame
# 1. 创建文件列表
corpus =[]
for fichier in Path("/Users/MyPath/files").rglob("*.txt"):
corpus.append(fichier.parent / fichier.name)
corpus.sort()
# 2. 创建示例文档数据
all_documents = []
for fichier_txt in corpus:
with open(fichier_txt) as f:
fichier_txt_chaine = f.read()
fichier_txt_chaine = re.sub('[^A-Za-z]', ' ', fichier_txt_chaine)
all_documents.append(fichier_txt_chaine)
# 3. 使用CountVectorizer创建词频矩阵
coun_vect = CountVectorizer(stop_words= "english")
count_matrix = coun_vect.fit_transform(all_documents)
count_array = count_matrix.toarray()
# 4. 创建DataFrame
allDataframe = pd.DataFrame(data=count_array, columns=coun_vect.get_feature_names())
# 5. 添加文件名列
allDataframe['filename'] = [f.name for f in corpus] # 或者 [f.stem for f in corpus]
print(allDataframe)这段代码首先创建 DataFrame，然后使用 allDataframe['filename'] = ... 添加一个名为 "filename" 的新列，并将文件名列表赋值给该列。
注意事项
- 确保 corpus 列表中的文件顺序与 count_array 中的数据行顺序一致。
- 根据实际需求选择合适的文件名提取方式 (f.name 获取完整文件名，f.stem 获取不带扩展名的文件名)。
- 如果文件名中包含特殊字符，可能需要进行额外的处理，以避免在 DataFrame 中出现问题。
总结
本文介绍了四种使用 Pandas 向 DataFrame 添加文件名的方法，包括将文件名设置为索引、提取文件名并设置为索引、提取不带扩展名的文件名并设置为索引，以及将文件名作为新列添加到 DataFrame。选择哪种方法取决于具体的应用场景和数据处理需求。通过这些方法，可以方便地将文件名信息与数据内容关联起来，从而提高数据分析的效率和准确性。
