摘要：

此示例演示如何通过将二维卷积神经网络（CNN）与长短期记忆（LSTM）层相结合，为多输入的语音序列分类任务创建二维CNN-LSTM网络。CNN通过将滑动卷积滤波器应用于输入来处理序列数据。CNN可以从空间和时间维度学习特征。LSTM网络通过循环时间步长和学习时间步之间的长期依赖关系来处理序列数据。CNN-LSTM网络使用卷积层和LSTM层从训练数据中学习。

本代码基于Matlab平台编写实现，使用Maltab自带的数据集，注释详细，使用者可通过更改训练数据集实现自己需要的效果，实现初学者模仿学习。

卷积神经网络（CNN）

CNN是一种前馈式神经网络，由输入层、卷积层、池化层、全连接层和输出层构成。CNN被广泛应用于图像识别、模式分类、物体检测、人脸识别、时间序列数据等方面。卷积神经网络（CNN），是一种专门用来处理具有类似网格结构的数据的神经网络。CNN网络是指那些至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神经网络。由于CNN在计算时采用了卷积运算，其运算速度相比于一般的矩阵运算有了很大的提高。CNN的卷积层和池化层的交替使用能够有效提取数据局部特征并降低局部特征维度。由于权值共享，可以减少权值数量、降低模型的复杂度。一维卷积对于时间序列的特征提取的输出为：

长短期记忆神经网络（LSTM）

长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。LSTM是一种含有LSTM区块（blocks）或其他的一种类神经网络，文献或其他资料中LSTM区块可能被描述成智能网络单元，因为它可以记忆不定时间长度的数值，区块中有一个gate能够决定input是否重要到能被记住及能不能被输出output。图1底下是四个S函数单元，最左边函数依情况可能成为区块的input，右边三个会经过gate决定input是否能传入区块，左边第二个为input gate，如果这里产出近似于零，将把这里的值挡住，不会进到下一层。左边第三个是forget gate，当这产生值近似于零，将把区块里记住的值忘掉。第四个也就是最右边的input为output gate，他可以决定在区块记忆中的input是否能输出。

LSTM网络是对循环神经网络（recurrentneuralnetwork，RNN）的一种改进，其通过加入门结构，有效解决了RNN存在的梯度消失和梯度爆炸。LSTM网络中加入的细胞记忆单元，使得LSTM网络具有良好的记忆能力，被广泛应用在时间序列预测当中。其具体计算式为：