登录  /  注册
博主信息
博文 16
粉丝 0
评论 9
访问量 8237
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
递归神经网络(RNN)
P粉113792940
原创
919人浏览过

递归神经网络(RNN)

RNN是最强大的模型之一,它使我们能够开发如分类、序列数据标注、生成文本序列(例如下一输入词的SwiftKey keyboard应用程序),以及将一个序列转换为另一个序列(比如从法语翻译成英语的语言翻译)等应用程序。大多数模型架构(如前馈神经网络)都没有利用数据的序列特性。例如,我们需要数据呈现出向量中每个样例的特征,如表示句子、段落或文档的所有token。前馈网络的设计只是为了一次性地查看所有特征并将它们映射到输出。让我们看一个文本示例,它显示了为什么顺序或序列特性对文本很重要。I had cleaned my car和I had my car cleaned两个英文句子,用同样的单词,但只有考虑单词的顺序时,它们才意味着不同的含义。

人类通过从左到右阅读词序列来理解文本,并构建了可以理解文本数据中所有不同内容的强大模型。RNN的工作方式有些许类似,每次只查看文本中的一个词。RNN也是一种包含某特殊层的神经网络,它并不是一次处理所有数据而是通过循环来处理数据。由于RNN可以按顺序处理数据,因此可以使用不同长度的向量并生成不同长度的输出。图6.3提供了一些不同的表示形式。

 图片 75.png

图6.3

图6.3来自关于RNN一个著名博客(http://karpathy.github.io/2015/05/21/rnn-effectiveness),其中作者Andrej Karpathy写明了如何使用Python从头开始构建RNN并将其用作序列生成器。

6.4.1 通过示例了解RNN如何使用

假设我们已经构建了一个RNN模型,并且尝试了解它提供的功能。当了解了RNN的作用后,就可以来探讨一下RNN内部发生了什么。

让我们用Thor的评论作为RNN模型的输入。我们正在看的示例文本是the action scenes were top notch in this movie... .首先将第一个单词the传递给模型;该模型生成了状态向量和输出向量两种不同的向量。状态向量在处理评论中的下一个单词时传递给模型,并生成新的状态向量。我们只考虑在最后一个序列中生成的模型的输出。图6.4概括了这个过程。

 图片 76.png

图6.4

图6.4演示了以下内容:

· RNN如何通过展开和图像来工作;

· 状态如何以递归方式传递给同一模型。

到现在为止,我们只是了解了RNN的功能,但并不知道它是如何工作的。在了解其工作原理之前来看一些代码片段,它会更详细地展示我们学到的东西。仍然将RNN视为黑盒:

在上述代码中,hidden变量表示状态向量,有时也称为隐藏状态。到现在为止,我们应该知道了如何使用RNN。现在来看一下实现RNN的代码,并了解RNN内部发生的情况。以下代码包含RNN类:

除了上述代码中的单词RNN之外,其他一切听起来与在前面章节中使用的非常类似,因为PyTorch隐藏了很多反向传播的复杂度。让我们通过init函数和forward函数来了解发生了什么。

__init__函数初始化了两个线性层,一个用于计算输出,另一个用于计算状态或隐藏向量。

forward函数将input向量和hidden向量组合在一起,并将其传入两个线性层,从而生成输出向量和隐藏状态。对于output层,我们应用log_softmax函数。

initHidden函数有助于创建隐藏向量,而无需在第一次时声明调用RNN。让我们通过图6.5了解RNN类的作用。

 

图6.5

图6.5说明了RNN的工作原理。

 


本博文版权归博主所有,转载请注明地址!如有侵权、违法,请联系admin@php.cn举报处理!
全部评论 文明上网理性发言,请遵守新闻评论服务协议
1条评论
P粉113792940 2022-07-30 10:59:37
13716368357 欢迎交流学习
1楼
作者最新博文
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2024 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • 登录PHP中文网,和优秀的人一起学习!
    全站2000+教程免费学