讲师中心 微信公众号
AI工具推荐 视频效率加速

Python词向量教程_Word2Vec与文本表示

老枫姑娘_3169

老枫姑娘_3169

发布时间:2026-01-11 19:58:02

|

549人浏览过

|

来源于php中文网

原创

Word2Vec通过上下文学习将词映射为低维稠密向量,使语义相似词向量相近、支持线性类比,并可直接用于机器学习;中文需高质量分词、统一格式,小数据宜用预训练向量,领域任务可增量训练。

python词向量教程_word2vec与文本表示

Word2Vec 是将词语转化为稠密向量(即词向量)的经典方法,它让语义相近的词在向量空间中距离更近,从而支撑下游任务如文本分类、相似度计算、推荐等。核心不在于“训练模型”,而在于理解词向量如何承载语义,以及怎样用对工具、选对参数、避开常见坑。

词向量为什么有用?

传统 one-hot 表示下,“猫”和“狗”是完全正交的向量,无法体现它们都是宠物、都会叫、都长毛等共性。Word2Vec 通过大量文本上下文学习,把每个词映射到一个低维实数向量(如100维),使得:

  • 语义相似的词(如“国王”与“女王”、“巴黎”与“法国”)向量夹角小、余弦相似度高
  • 存在可迁移的线性关系,比如 vec(“女王”) ≈ vec(“国王”) − vec(“男人”) + vec(“女人”)
  • 能直接用于机器学习模型输入(替代稀疏的词袋或TF-IDF)

用 Gensim 快速上手 Word2Vec

Gensim 是最常用、最稳定的 Python 实现。安装后只需几行代码即可训练:

from gensim.models import Word2Vec
from gensim.utils import simple_preprocess
<h1>假设 sentences 是分好词的列表,例如 [['我', '喜欢', '猫'], ['她', '养', '狗']]</h1><p>sentences = [simple_preprocess(line) for line in open('corpus.txt', encoding='utf-8')]</p><div class="aritcle_card flexRow">
                                                        <div class="artcardd flexRow">
                                                                <a class="aritcle_card_img" href="/xiazai/skill8851" title="Seo Keyword Researcher"><img
                                                                                src="https://img.php.cn/upload/skill/000/000/081/179229249674940.jpg" alt="Seo Keyword Researcher" ></a>
                                                                <div class="aritcle_card_info flexColumn">
                                                                        <a href="/xiazai/skill8851" title="Seo Keyword Researcher">Seo Keyword Researcher</a>
                                                                        <p>为任意主题进行SEO关键词调研,并生成完整文章摘要,包括主关键词、次关键词、竞争分析、文章结构等。</p>
                                                                </div>
                                                                <a href="/xiazai/skill8851" title="Seo Keyword Researcher" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
                                                        </div>
                                                </div><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记(深入)</a>”;</p><p>model = Word2Vec(
sentences=sentences,
vector_size=100,     # 向量维度
window=5,            # 上下文窗口大小
min_count=1,         # 忽略出现少于该次数的词
workers=4,           # 并行线程数
sg=1                 # 1=Skip-gram, 0=CBOW(通常 Skip-gram 对低频词更鲁棒)
)</p>

训练完成后可直接查词向量、找相似词:

  • model.wv['猫'] → 获取“猫”的100维向量
  • model.wv.most_similar('人工智能', topn=5) → 返回语义最接近的5个词
  • model.wv.similarity('北京', '上海') → 计算两词余弦相似度

中文处理的关键细节

Word2Vec 本身不区分语言,但中文需额外注意分词质量——它直接影响语义建模效果:

  • 别用空格切分中文,必须先分词(推荐 jieba 或 pkuseg)
  • 停用词可保留(Word2Vec 能自动弱化高频无意义词),但明显噪声(如乱码、广告词)应清洗
  • 专有名词(如“iPhone14”、“深度学习”)建议合并为单个token,否则会被拆散失义
  • 繁体/简体、全角/半角、英文大小写需统一,否则“Python”和“python”会被视为两个词

不是所有场景都该从头训练

小数据+短周期项目,直接加载预训练中文词向量往往更稳更快:

  • Chinese-Word-Vectors 提供多种语料(百度百科、维基、微博)训练的开源词向量
  • 加载方式:model = KeyedVectors.load_word2vec_format('sgns.weibo.bigram', binary=False, encoding='utf-8')
  • 若领域特殊(如医疗、法律),可在预训练向量基础上用领域语料做增量训练(model.train(..., total_examples=..., epochs=...) )

热门AI工具

更多
SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

超级简历WonderCV

一款AI办公效率工具,主要用于免费求职简历模版下载制作,应届生职场人必备简历制作神器,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

相关专题

更多
登录token无效
登录token无效

登录token无效解决方法:1、检查token的有效期限,如果token已经过期,需要重新获取一个新的token;2、检查token的签名,如果签名不正确,需要重新获取一个新的token;3、检查密钥的正确性,如果密钥不正确,需要重新获取一个新的token;4、使用HTTPS协议传输token,建议使用HTTPS协议进行传输 ;5、使用双因素认证,双因素认证可以提高账户的安全性。

13926

2023.09.14

登录token无效怎么办
登录token无效怎么办

登录token无效的解决办法有检查Token是否过期、检查Token是否正确、检查Token是否被篡改、检查Token是否与用户匹配、清除缓存或Cookie、检查网络连接和服务器状态、重新登录或请求新的Token、联系技术支持或开发人员等。本专题为大家提供token相关的文章、下载、课程内容,供大家免费下载体验。

1645

2023.09.14

token怎么获取
token怎么获取

获取token值的方法:1、小程序调用“wx.login()”获取 临时登录凭证code,并回传到开发者服务器;2、开发者服务器以code换取,用户唯一标识openid和会话密钥“session_key”。想了解更详细的内容,可以阅读本专题下面的文章。

3817

2023.12.21

token什么意思
token什么意思

token是一种用于表示用户权限、记录交易信息、支付虚拟货币的数字货币。可以用来在特定的网络上进行交易,用来购买或出售特定的虚拟货币,也可以用来支付特定的服务费用。想了解更多token什么意思的相关内容可以访问本专题下面的文章。

5981

2024.03.01

word背景色怎么改成白色
word背景色怎么改成白色

Word是微软公司的一个文字处理器软件。word为用户提供了专业而优雅的文档工具,帮助用户节省时间并得到优雅美观的结果。word提供了许多易于使用的文档创建工具,同时也提供了丰富的功能供创建复杂的文档使用。怎么word背景色怎么该呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

4491

2023.07.21

word最后一页空白页怎么删除
word最后一页空白页怎么删除

word最后一页空白页删除方法有:通过删除回车符、调整页边距、删除分节符或调整分页符位置,您可以轻松去除最后一页的空白页。根据您实际的文档情况,选择适合您的方法进行操作,使您的文档更加美观和整洁。本专题为大家提供word最后一页空白页怎么删除不了相关的各种文章、以及下载和课程。

1040

2023.07.24

word最后一页空白页怎么删除不了
word最后一页空白页怎么删除不了

word删除最后一页空白页,可以尝试使用Backspace键删除空白页,如果无效,查找和删除分页符,或者调整页面边距和行距。还可以尝试将文档保存为其他格式并重新打开和保存。本专题为大家提供word最后一页空白页为啥删除不了的相关的文章、下载、课程内容,供大家免费下载体验。

2982

2023.07.25

word单页改变纸张方向
word单页改变纸张方向

word单页改变纸张方向:1、在界面上选择文档纸张方向;2、自定义页面设置;3、分节功能。本专题为大家提供word单页改变纸张方向的相关的文章、下载、课程内容,供大家免费下载体验。

1300

2023.07.27

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

0

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn