catboost要求类别型特征必须以整数类型显式指定，而直接用scipy.sparse.hstack拼接tf-idf稀疏矩阵与编码后的类别数据会导致全部转为float类型，破坏类别特征的整数标识——本文提供基于pandas稀疏dataframe的安全拼接方案，并给出完整可运行示例。
catboost要求类别型特征必须以整数类型显式指定，而直接用scipy.sparse.hstack拼接tf-idf稀疏矩阵与编码后的类别数据会导致全部转为float类型，破坏类别特征的整数标识——本文提供基于pandas稀疏dataframe的安全拼接方案，并给出完整可运行示例。
在使用CatBoost处理混合特征（如文本TF-IDF + 结构化类别变量）时，一个常见陷阱是：CatBoost不接受浮点型数组作为类别特征输入，且其内部会严格校验cat_features索引位置对应的数据是否为整数类型。而scipy.sparse.hstack会强制统一所有拼接矩阵的数据类型为float64（即使原始类别编码是int32），导致CatBoost报错：'data' is scipy.sparse.spmatrix of floating point numerical type... but 'cat_features' parameter specifies nonzero number of categorical features。
根本原因在于：scipy稀疏矩阵是同质类型容器，无法保留列级类型差异；而CatBoost的类别特征依赖底层整数语义（如标签编码后的0/1/2…）进行有序分割与计数统计，浮点数会丢失该语义。
✅ 正确解法是绕过稀疏矩阵拼接，改用 pandas DataFrame ——它天然支持多列异构类型（TF-IDF列可设为sparse[float]，类别列保持int64），且CatBoost原生支持DataFrame输入：
import numpy as np
import pandas as pd
from catboost import CatBoostClassifier
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.preprocessing import LabelEncoder
from scipy.sparse import csr_matrix
# 示例数据
text_data = [
"I love machine learning and data science",
"Deep learning is a subset of machine learning",
"Natural language processing is amazing",
"AI is transforming the world",
"Big data and AI are revolutionizing industries"
]
categorical_data = {
"Category": ["Tech", "Tech", "NLP", "AI", "Big Data"],
"Region": ["US", "Europe", "Asia", "US", "Europe"]
}
y = np.array([0, 1, 0, 1, 1])
# 1. 构建TF-IDF稀疏矩阵
vectorizer = TfidfVectorizer()
X_tfidf = vectorizer.fit_transform(text_data)
# 2. 对类别特征独立编码（保持int类型）
df_cat = pd.DataFrame(categorical_data)
df_cat_encoded = df_cat.apply(lambda x: LabelEncoder().fit_transform(x))
# 3. ✅ 关键步骤：将TF-IDF转为pandas稀疏DataFrame（保留float稀疏性）
df_tfidf = pd.DataFrame.sparse.from_spmatrix(
X_tfidf,
columns=vectorizer.get_feature_names_out()
)
# 4. 拼接：自动保留各列原始dtype（tfidf列→sparse[float], 类别列→int64）
X_combined = pd.concat([df_tfidf, df_cat_encoded], axis=1)
# 5. 指定类别特征列名（推荐方式）或列索引
cat_feature_names = ["Category", "Region"] # 更安全：用列名而非索引
model = CatBoostClassifier(
iterations=100,
learning_rate=0.1,
depth=5,
verbose=0,
# cat_features支持列名列表（推荐）或整数索引列表
cat_features=cat_feature_names
)
model.fit(X_combined, y)
predictions = model.predict(X_combined)
print("Predictions:", predictions)⚠️ 注意事项：
-
避免使用列索引指定
cat_features：因TF-IDF特征数量可能极大（成千上万维），列顺序易出错；优先使用列名（如["Category", "Region"]），CatBoost会自动定位。 -
LabelEncoder需逐列独立调用：
df_cat.apply(LabelEncoder().fit_transform)中每次创建新实例，防止跨列污染编码空间。 -
内存优化提示：若TF-IDF维度极高，
pd.DataFrame.sparse.from_spmatrix仍保持稀疏存储，不会显著增加内存占用。 -
扩展性建议：生产环境中，建议将
LabelEncoder保存为字典或使用OrdinalEncoder（支持多列批量编码），便于后续推理时复用编码逻辑。
通过此方案，你既能保留TF-IDF的稀疏高效性，又能严格满足CatBoost对类别特征的整数类型要求，实现文本+结构化类别的端到端建模。
