|本期目录/Table of Contents|

[1]方晓东,刘昌辉*,王丽亚,等.基于BERT的复合网络模型的中文文本分类[J].武汉工程大学学报,2020,42(06):688-692.[doi:10.19843/j.cnki.CN42-1779/TQ. 202002009]
　FANG Xiaodong,LIU Changhui*,WANG Liya,et al.Chinese Text Classification Based on BERT’s Composite Network Model[J].Journal of Wuhan Institute of Technology,2020,42(06):688-692.[doi:10.19843/j.cnki.CN42-1779/TQ. 202002009]
点击复制

基于BERT的复合网络模型的中文文本分类(/HTML)
分享到：

《武汉工程大学学报》[ISSN:1674-2869/CN:42-1779/TQ]

卷:
42
期数:
2020年06期
页码:
688-692
栏目:
机电与信息工程
出版日期:
2021-01-30

文章信息/Info

Title:
Chinese Text Classification Based on BERT’s Composite Network Model
文章编号:
1674 - 2869（2020）06 - 0688 - 05
作者:
方晓东; 刘昌辉*; 王丽亚; 殷　兴
武汉工程大学计算机科学与工程学院，湖北 武汉 430205
Author(s):
FANG Xiaodong;  LIU Changhui*;  WANG Liya;  YIN Xing
School of Computer Science and Engineering， Wuhan Institute of Technology， Wuhan 430205， China
关键词:
BERT; BiGRU; 注意力机制; 中文文本分类; 新闻分类
Keywords:
BERT;  BiGRU;  attention mechanism;  Chinese text classification;  news classification
分类号:
TP391.1
DOI:
10.19843/j.cnki.CN42-1779/TQ. 202002009
文献标志码:
A
摘要:
针对自然语言在语句结构上有着较强的前后依赖关系，提出一种基于BERT的复合网络模型进行中文新闻分类。首先利用BERT的基于注意力机制的多层双向transformer特征提取器获得字词以及句子之间更加全局的特征关系表达。然后将所得数据输入门结构更加简单的双向门控循环神经网络层将特征增强的同时减少时间代价，加强数据特征的选取精确度。最后将不同权重的文本特征信息输入softmax函数层进行新闻分类。通过在cnews新浪新闻数据集上进行实验，获得97.21%的F1值，结果表明所提特征融合模型较其他模型分类效果更好。
Abstract:
Natural languages have strong dependence among words in sentence structure. This paper proposes a bidirectional encoder representation from transformer-based composite network model for Chinese news classification. First， the BERT’s attention mechanism-based multi-layer bidirectional transformer was used as the feature extractor to obtain a global expression of feature relationships between words and sentences. Then， the above results were input into the bidirectional gated loop neural network layer with a simple gate structure， which was able to enhance features， reduce the time cost， and improve the accuracy of data feature selection. Finally， the text feature information with different weights was input into the softmax layer for classification. Experiments were conducted on the Sina news data set cnews. An F1 value of 97.21% was obtained. The results show that the proposed feature fusion model has a better classification effect than other models.

参考文献/References:

［1］　王文娟，马建霞，陈春，等. 引文文本分类与实现方法研究综述［J］. 图书情报工作，2016，60（6）：118-127.［2］　王月，王孟轩，张胜，等. 基于BERT的警情文本命名实体识别［J］. 计算机应用，2020，40（2）：535-540. ［3］　郑诚，薛满意，洪彤彤，等. 用于短文本分类的DC-BiGRU_CNN模型［J］. 计算机科学，2019，46（11）：186-192. ［4］　汪岿，刘柏嵩. 文本分类研究综述［J］. 数据通信，2019（3）：37-47. ［5］　LI L， ZHOU A， LIU Y， et al. Aspect-based sentiment analysis based on dynamic attention GRU［J］. Scientia Sinica Informationis， 2019， 49（8）： 1019-1030. ［6］　ZHANG D， XU H， SU Z， et al. Chinese comments sentiment classification based on word2vec and SVMperf［J］. Expert Systems with Applications， 2015， 42（4）： 1857-1863. ［7］　郑亚南， 田大钢. 基于 GloVe 与 SVM 的文本分类研究［J］. 软件导刊， 2018， 17（6）： 45-48，52. ［8］　赵亚欧，张家重，李贻斌，等. 融合基于语言模型的词嵌入和多尺度卷积神经网络的情感分析［J］. 计算机应用，2020，40（3）：651-657. ［9］　胡春涛，秦锦康，陈静梅，等. 基于BERT模型的舆情分类应用研究［J］. 网络安全技术与应用，2019（11）：41-44. ［10］　陈巧红，王磊，孙麒，等. 卷积神经网络的短文本分类方法［J］. 计算机系统应用，2019，28（5）：137-142. ［11］　孙敏，李旸，余大为，等. 基于CNN-LSTM电影评论的情感分析［J］. 洛阳理工学院学报（自然科学版），2019，29（4）：71-77. ［12］　卢健，马成贤，杨腾飞，等. Text-CRNN+attention架构下的多类别文本信息分类［J］. 计算机应用研究，2020，37（6）：1693-1696，1701.［13］　吴小华，陈莉，魏甜甜，等. 基于Self-Attention和Bi-LSTM的中文短文本情感分析［J］. 中文信息学报，2019，33（6）：100-107. ［14］　王丽亚，刘昌辉，蔡敦波，等. 基于字符级双通道复合网络的中文文本情感分析［J］. 计算机应用研究，2019（9）：1-6. ［15］　李福鹏，付东翔. 基于Trans former编码器的金融文本情感分析方法［J］. 电子科技，2020，33（9）：10-15.

相似文献/References:

备注/Memo

备注/Memo:
收稿日期：2020-02-15基金项目：国家自然科学基金（61103136）；武汉工程大学教育创新计划（CX2019238）作者简介：方晓东，硕士研究生。E-mail：[email protected]*通讯作者：刘昌辉，博士，副教授。E-mail：[email protected]引文格式：方晓东，刘昌辉，王丽亚，等. 基于BERT的复合网络模型的中文文本分类［J］. 武汉工程大学学报，2020，42（6）：688-692.
更新日期/Last Update: 2020-12-17