RNN

近期，清华大学温玉辉博士后、刘永进教授、中科院计算所副研究员高林、香港城市大学傅红波教授等合作，在CVPR2021上发表论文，提出了一种基于标准化生成流（Glow）的自回归运动风格迁移方法，并在GitHub上开源了Jittor代码。

机器学习领域是巨大的，为了学习不迷路，可以从以下列表帮助学习。它概述深度学习的一些学习细节。

RNN最大的不同之处就是在层之间的神经元之间也建立的权连接，相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。

神经网络是深度学习的载体，而神经网络模型中，最经典非RNN模型所属，尽管它不完美，但它具有学习历史信息的能力。

在循环神经网络可以用于文本生成、机器翻译还有看图描述等，在这些场景中很多都出现了RNN的身影。

深入了解DNNs，CNNs以及RNNs中的Dropout来进行正则化，蒙特卡洛不确定性和模型压缩的方法。

深度信念网络（Deep Belief Nets），是一种概率生成模型，能够建立输入数据和输出类别的联合概率分布。深度信念网络通过采用逐层训练的方式，解决了深层次神经网络的优化问题，通过逐层训练为整个网络赋予了较好的初始权值，使得网络只要经过微调就可以达到最优解。

感知机包含有输入层、输出层和一个隐藏层。输入的特征向量通过隐藏层变换到达输出层，由输出层得到分类结果。

CNN(卷积神经网络)我们会发现，他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响，比如简单的猫，狗，手写数字等单个物体的识别具有较好的效果。但是，对于一些与时间先后有关的，比如视频的下一时刻的预测，文档前后文内容的预测等，这些算法的表现就不尽如人意了。因此，RNN就应运而生了......

RNN前向计算：对于如下结构，x是输入，s为隐层，o为输出，U,W,V为不同层的权值，同一类型的权连接权值相同