lstm 自然语言处理,lstm原理?

用户投稿 149 0

关于lstm自然语言处理原理的问题,小编就整理了2个相关介绍lstm自然语言处理原理的解答,让我们一起看看吧。

lstm原理?

原理:门的输出是 0到1 之间的实数向量,当门输出为 0 时,任何向量与之相乘都会得到 0 向量,这就相当于什么都不能通过;

输出为 1 时,任何向量与之相乘都不会有任何改变,这就相当于什么都可以通过。

方法:用门的输出向量按元素乘以我们需要控制的那个向量

可以先来看一下什么是RNN?

1.1 RNN原理,一般来说,RNN的输入和输出都是一个序列,分别记为和 ,同时的取值不仅与有关还与序列中更早的输入有关(序列中的第t个元素我们叫做序列在time_step=t时的取值)。1.2 LSTM原理,LSTM是一种特殊的RNN,主要通过三个门控逻辑实现(遗忘、输入、输出)。它的提出就是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。

lstm模型能干啥?

LSTM是RNN的一种版本,它的特点是具有时间循环结构,可以很好地刻画具有时空关联的序列数据,包括时间序列数据(气温、车流量、销量等)、文本、事件(购物清单、个人行为)等等。可以这样简单地理解LSTM:它是一种基于神经网络的自回归模型。

在自然语言处理领域,大家经常用LSTM对语言建模,即用LSTM提取文本的语义语法信息,然后和下游模型配合起来做具体的任务,比如分类、序列标注、文本匹配等等。

到此,以上就是小编对于lstm自然语言处理原理的问题就介绍到这了,希望介绍lstm自然语言处理原理的2点解答对大家有用。

抱歉,评论功能暂时关闭!