您现在的位置是:首页 > 正文

LSTM基础理论与实例

2024-04-01 01:57:07阅读 5

前言

关于深度学习的算法,主要有CNN卷积神经网络、RNN循环神经网络、CAN生成对抗网络三种。LSTM(Long Short-Term Memory)就是基于RNN而来。本文将主要介绍LSTM的基础理论与文字预测的实例。

LSTM基础理论

1.基础框架图

 其中的符号含义如下图所示:

2.分步解析

第一步,处理单元通过遗忘门来决定我们需要丢弃的信息。该门会读取h_{t-1}时刻向量值与x_{t}时刻的输入,然后通过激活层 σ 输出一个0-1之间数值(激活层函数一般为ReLU)。1表示“完全保留”,0表示“完全舍弃”。

 f_{t} 为 σ网络激活层;  

网站文章