LSTM

无论你是机器学习初学者，还是希望深化理解的进阶者，本文都将为你提供一份详尽的指南。

循环神经网络（RNN）作为最早的序列建模工具，开创了 “记忆历史信息” 的先河；而长短期记忆网络（LSTM）则通过创新设计，突破了 RNN 的核心局限。

文章介绍了RNN与LSTM，并通过Python代码对两者进行了实战对比。‌

在本文中，我们将探讨 RNN 的架构、它们的应用、挑战以及克服它们的技术。

近期，清华大学温玉辉博士后、刘永进教授、中科院计算所副研究员高林、香港城市大学傅红波教授等合作，在CVPR2021上发表论文，提出了一种基于标准化生成流（Glow）的自回归运动风格迁移方法，并在GitHub上开源了Jittor代码。

RNN最大的不同之处就是在层之间的神经元之间也建立的权连接，相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。

在一篇中着核心要素简述了LSTM算法的原理，本篇中将在本人做过一些前置处理的数据集上实现LSTM的一个实际应用案例。

当我们处理与事件发生的时间轴有关系的问题时，比如自然语言处理，文本处理，连续几天的天气状况，语音识别，机器翻译等。在考虑这些和时间轴相关的问题时，传统的神经网络就无能为力了，因此就有了RNN。这里介绍RNN基本原理是为了铺垫我们的重点LSTM网络。

长短期记忆网络（LSTM）不仅能够解决 RNN无法处理长距离的依赖的问题，还能够解决神经网络中常见的梯度爆炸或梯度消失等问题，在处理序列数据方面非常有效。有效背后的根本原因有哪些？本文结合简单的案例，带大家了解关于 LSTM 的五个秘密，也解释了 LSTM如此有效的关键所在。