AG真人娱乐官方网站(访问: hash.cyou 领取999USDT）AG真人娱乐官方网站(访问: hash.cyou 领取999USDT）AG真人娱乐官方网站(访问: hash.cyou 领取999USDT）AG真人娱乐官方网站(访问: hash.cyou 领取999USDT）AG真人娱乐官方网站(访问: hash.cyou 领取999USDT）
[0026] 3、根据权利要求1所述的基于卷积神经网络的文本分类方法，其特征在于：步骤 S01中还包括以下具体的步骤：(1)对中文训练数据集进行分词操作，(2)建立词典并建立词 典 与索 引的映 射 ，(3) 将文本序列映 射为索 引序列 ，(4) 将所有样本的 序列长度处理成一样 的长度，可通过补0或截断实现，(5)使用预训练好的词向量进行词嵌入，设样本序列长度为 M ，预 训练好的 词向量维度为N ，则词嵌入后 ，每个样本数据转化为M*N的 词向 量矩阵并 将其 作为卷积层的输入。 [0027] 进一步的，步骤S02中，使用一维卷积层对输入进行卷积操作，卷积核的高度分别 取2和3两个尺度，卷积核的数目为256，激活函数为Relu函数。 [0028] 进一步的，步骤S02和S03之间加入了Batch Normalization层对数据进行归一化 处理，加快模型的收敛速度。 [0029] 进一步的 ，步骤S04和S05之间加入了Dropout层，随机断开指定比例的神经元连 接，防止过拟合。 [0030] 本发明的有益效果：本发明基于卷积神经网络和循环神经网络LSTM提出一种基于 卷积循环神经网络的文本分类方法。该方法充分利用卷积神经网络提取局部特征的优势对 文本进行特征提取，同时利用LSTM具有记忆的优势将提取的上下文特征联系起来更好地表 示文本的语义信息。该方法不仅在英文数据集上取得较好的分类效果同时在中文数据集上 也取得较高的分类准确率。
[0013] 公式中，H2表示卷积后特征图的高度，H1表示卷积前输入的高度，F表示卷积核的高 度，P表示Padding的大小，S表示步长， 表示向下取整，WF表示高度为F的卷积核，X(i：i F-1)表示样本输入向量中从第i个特征到第iF-1个特征的局部特征向量，b表示偏置值； [0014] S03)、使用最大池化层MaxPooling1D对卷积后的结果进行池化以提取文本的重要 特征，然后将池化后的结果使用Concatenate函数连接起来作为LSTM层的输入，计算公式分 别如公式5、6所示，
ftwfht1h1tbf7itwiht1h1tbi8otwoht1h1tbo11htottanhct12ft表示遗忘门表示sigmoid函数wf表示遗忘门的权重矩阵ht1h1t表示把两个向量合为一个更长的向量ht1代表lstm网络上个时刻的输出h1t表示经卷积池化后的输出h1在t时刻的输入bf是遗忘门的偏置值it表示输入门wi表示输入门的权重矩阵bi表示输入门的偏置值表示当前输入的单元状态它是根据上一次的输出和当前的输入计算得来的wc表示当前输入的单元状态的权重矩阵bc表示当前输入的单元状态的偏置值ct表示当前时刻的单元状态它是由遗忘门ft乘以上一时刻的单元状态ct1再加上输入门it乘以当前输入的单元状态的和计算得来这样就把lstm长期的记忆ct1与当前的记忆结合在一起形成新的单元状态ctot表示输出门wo代表输出门的权重居中bo代表输出门的偏置值ht表示最终的输出它是由单元状态ct和输出门ot共同确定
背景技术 [0002] 随着深度学习技术的快速发展，卷积神经网络和循环神经网络已经在各种机器学 习任务中取得了巨大的成功。例如，卷积神经网络已经广泛应用于计算机视觉领域，在处理 计算机视觉任务上已经比较成熟，如图像分类、物体检测、图像分割、语音识别等。循环神经 网络是深度学习中 另外一个重要的分支 ，它主要 用来处理序列问题。长短时记忆网络 (LSTM) 是循环神经网络的 一种特殊类型 ，它能 捕获 序列的 上下文信息 ，被广泛应 用于时间 序列问题，如语音识别、机器翻译等。 [0003] 近年来，在处理序列数据问题上，越来越多的研究者将卷积神经网络与循环神经 网络结合起来一起使用。该混合模型被称为卷积循环神经网络(CRNN) ，CRNN可以简单地描 述为在卷积神经网络后跟随 循环神经网络。该模型中卷积神经网络主要是 用来提取特征 ， 循环神经网络主要是将上下文特征信息联系起来。目前，该模型已经被应用于音乐分类、高 光谱数据分类、鸟音频检测等。 [0004] 卷积循环神经网络模型同样适用于文本分类。在文本分类中，使用卷积神经网络 可以 灵活地对文本的 特征进行提取 ，由 于文本分类过程中分类结果受 整个文本内 容的 影 响 ，因此 ，使 用长短时 记忆网络将提取的 特征联 系起来能 够更好地表示文本进而更好地实 现文本分类。因此 ，本文使 用卷积循环神经网络对文本进行分类并使 用中文数据集 和英文 数据集作为实验数据与其他分类方法进行比对。
h1F＝[h1F(1) ；h1F(2) ；...；h1F(H2)] (3) ， hr1F＝relu(h1F) (4) ， 公式中 ，H2表示卷积后特征图的高度 ，H1表示卷积前输入的高度 ，F表示卷积核的高度 ，P 表示Padding的大小，S表示步长， 表示向下取整，WF表示高度为F的卷积核，X(i:iF-1) 表示样本输入向量中从第i个特征到第iF-1个特征的局部特征向量，b表示偏置值； S03) 、使 用最大池化层Ma xPooling1 D对卷积后的 结果进行池化以 提取文本的 重要特 征，然后将池化后的结果使用Concatenate函数连接起来作为LSTM层的输入，计算公式分别 如公式5、6所示， hrp1F＝max(hr1F) (5)，
来的 ，Wc表示当前输入的单元状态的权重矩阵 ，bc表示当前输入的单元状态的偏置值 ，ct表 示当前时 刻的单元状态 ，它是由 遗忘门ft乘以 上一时 刻的单元状态ct-1 ，再 加上输入门it乘 以当前输入的单元状态 的和计算得来，这样就把LSTM长期的记忆ct-1与当前的记忆 结合 在一起形成新的单元状态ct ，ot表示输出门 ，Wo代表输出门的权重居中 ，bo代表输出门的 偏 置值，ht表示最终的输出，它是由单元状态ct和输出门ot共同确定。 [0025] 进一步的，本方法还包括步骤S05)、增加全连接层，全连接层输出维度为训练集中 的 类 别 数 目 并 且 通 过 S o f t m a x 函 数 计 算 样 本 属 于 各 个 类 别 的 概 率 ，计 算 公 式 为
ft表示遗忘门 ，σ表示sigmoid函数 ，Wf表示遗忘门的权重矩阵 ，[ht-1 ，h1t]表示把两个向 量合为一个更长的向量，ht-1代表LSTM网络上个时刻的输出，h1t表示经卷积池化后的输出h1 在t时刻的输入，bf是遗忘门的偏置值，it表示输入门，Wi表示输入门的权重矩阵 ，bi表示输 入门的偏置值， 表示当前输入的单元状态，它是根据上一次的输出和当前的输入计算得 来的 ，Wc表示当前输入的单元状态的权重矩阵 ，bc表示当前输入的单元状态的偏置值 ，ct表 示当前时 刻的单元状态 ，它是由 遗忘门ft乘以 上一时 刻的单元状态ct-1 ，再 加上输入门it乘 以当前输入的单元状态 的和计算得来，这样就把LSTM长期的记忆ct-1与当前的记忆 结 合在一起形成新的单元状态ct ，ot表示输出门 ，Wo代表输出门的权重居中 ，bo代表输出门的 偏置值，ht表示最终的输出，它是由单元状态ct和输出门ot共同确定。
1 .基于卷积循环神经网络的文本分类方法，其特征在于：包括以下步骤： S01)、将文本序列的样本数据转化为词向量矩阵作为卷积层的输入； S02) 、使 用多尺度的卷积核对输入数据进行卷积操作 ，卷积后特征图的高 度使 用公式1 计算 ，卷积操作过程中 ，首先使 用单个卷积核分别对输入的每个局部特征进行计算 ，计算公 式 如公式 2 ，然后使 用公式3将计算出的 特征纵向 相连 ，最后再使 用激活函数对计算结果进 行非线性计算得到最终卷积特征，计算公式如公式4，
3 .根据权利要求1所述的基于卷积循环神经网络的文本分类方法，其特征在于：步骤 S01中还包括以下具体的步骤：(1)对中文训练数据集进行分词操作，(2)建立词典并建立词 典 与索 引的映 射 ，(3) 将文本序列映 射为索 引序列 ，(4) 将所有样本的 序列长度处理成一样 的长度，(5)使用预训练好的词向量进行词嵌入，设样本序列长度为M，预训练好的词向量维 度为N，则词嵌入后，每个样本数据转化为M*N的词向量矩阵并将其作为卷积层的输入。
发明内容 [0005] 本发明要解决的技术问题是提供一种基于卷积循环神经网络的文本分类方法，首 先使用卷积网络对输入的文本信息进行多组特征提取并分别对其进行池化以提取文本中 重要的特征，然后将提取出的特征进行融合送入LSTM神经网络并经过全连接层输出分类结 果。 [0006] 为了解决所述技术问题，本发明采用的技术问题是：基于卷积循环神经网络的文 本分类方法，其特征在于：包括以下步骤： [0007] S01)、将文本序列的样本数据转化为词向量矩阵作为卷积层的输入； [0008] S02)、使用多尺度的卷积核对输入数据进行卷积操作，卷积后特征图的高度使用 公式1计算。卷积操作过程中 ，首先使 用单个卷积核分别对输入的 每个局部特征进行计算 ， 计算公式 如公式 2 ，然后使 用公式3将计算出的 特征纵向 相连 ，最后再使 用激活函数对计算 结果进行非线性计算得到最终卷积特征，计算公式如公式4，
