|本期目录/Table of Contents|

[1]张 渊,姚 峰*.基于知识嵌入式预训练语言模型的文本分类方法研究[J].武汉工程大学学报,2023,45(06):674-679.[doi:10.19843/j.cnki.CN42-1779/TQ.202303011]
　ZHANG Yuan,YAO Feng*.Text Classification Methods Based on Knowledge Embedded in Pretrained Language Model[J].Journal of Wuhan Institute of Technology,2023,45(06):674-679.[doi:10.19843/j.cnki.CN42-1779/TQ.202303011]
点击复制

基于知识嵌入式预训练语言模型的文本分类方法研究(/HTML)
分享到：

《武汉工程大学学报》[ISSN:1674-2869/CN:42-1779/TQ]

卷:
45
期数:
2023年06期
页码:
674-679
栏目:
机电与信息工程
出版日期:
2023-12-28

文章信息/Info

Title:
Text Classification Methods Based on Knowledge Embedded in Pretrained Language Model

文章编号:
1674 - 2869（2023）06 - 0674 - 06
作者:
张 渊; 姚 峰*
武汉工程大学计算机科学与工程学院，湖北 武汉 430205
Author(s):
ZHANG Yuan; YAO Feng*
School of Computer Science and Engineering，Wuhan Institute of Technology，Wuhan 430205， China
关键词:
文本分类; 文本表示; 知识图谱; ERNIE
Keywords:
text classification;  text representation;  knowledge graph;  ERNIE
分类号:
TP391
DOI:
10.19843/j.cnki.CN42-1779/TQ.202303011
文献标志码:
A
摘要:
为解决一般预训练语言表示模型在语义理解和推理过程中存在不足的问题，提出了一种知识嵌入式预训练语言模型，使用知识嵌入和预训练语言表示的统一模型将事实知识集成到增强的语言表示模型中，充分利用知识图谱中包含的丰富的结构化知识事实来增强文本表示，从而提高预训练模型的效果。该模型利用大规模文本语料库和知识图谱进行训练优化，在THUCNews数据集上的文本分类的准确率和召回率分别达到了96.51%和90.36%，优于文本循环神经网络、基于变换器的双向编码器表征、增强语言表示模型的实验结果，验证了经知识图谱优化后的预训练语言模型在文本分类任务上的优越性。

Abstract:
To address the limitations of conventional pre-trained language models in semantic understanding and reasoning， a knowledge embedded in pretrained language model was proposed. This model uses a unified framework of knowledge embedding and pre-trained language representation to integrate factual knowledge into the enhanced language representation model. It leverages the abundant structured knowledge facts contained in knowledge graphs to enhance text representation， thereby improving the effectiveness of pretrained models. This model is trained and optimized using large-scale text corpora and knowledge graphs， and it achieves an accuracy of 96.51% and a recall of 90.36% on the THUCNews dataset for text classification， outperforming the experimental results of text recurrent neural network， bidirectional encoder representations from transformers， enhanced language representation with informative entities. This validates the superiority of the pre-trained language model optimized with knowledge graph for text classification tasks.

参考文献/References:

［1］ 安波，龙从军.基于预训练语言模型的藏文文本分类［J］.中文信息学报，2022，36（12）：85-93.

［2］ ZHANG Z Y， HAN X， LIU Z Y， et al. ERNIE： enhanced language representation with informative entities［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg：Association for Computational Linguis-tics， 2019： 1141-1151.
［3］ 张正航，钱育蓉，行艳妮，等.基于TransE的表示学习方法研究综述［J］.计算机应用研究，2021，38（3）：656-663.
［4］ WANG X Z， GAO T Y， ZHU Z C， et al. KEPLER： a unified model for knowledge embedding and pre-trained language representation［J］. Transactions of the Association for Computational Linguistics， 2021， 9：176-194.
［5］ 段丹丹，唐加山，温勇，等.基于BERT模型的中文短文本分类算法［J］.计算机工程，2021，47（1）：79-86.
［6］ 王珊珊，高新勤，张辉，等.云制造资源文本信息的特征提取与关联分析方法［J］.制造业自动化，2020，42（9）：9-13，134.
［7］ 叶水欢，葛寅辉，陈波，等.基于ELMo-TextCNN的网络欺凌检测模型［J］.信息安全研究，2023，9（9）：868-876.
［8］ 张民，李俊涛.生成式预训练模型［J］.中国科学基金，2021，35（3）：403-406.
［9］ 杨兴锐，赵寿为，张如学，等.改进BERT词向量的BiLSTM-Attention文本分类模型［J］.传感器与微系统，2023，42（10）：160-164.
［10］ 方晓东，刘昌辉，王丽亚，等.基于BERT的复合网络模型的中文文本分类［J］.武汉工程大学学报，2020，42（6）：688-692.
［11］ 黄鹂.基于深度神经网络的文本生成技术研究［D］.成都：电子科技大学，2021.
［12］ 范文韬.面向知识图谱嵌入的负采样方法研究［D］.北京：北京交通大学，2022.
［13］ 熊漩，严佩敏.融合多头自注意力机制的中文分类方法［J］.电子测量技术，2020，43（10）：125-130.
［14］ 王双印，滕国文.卷积神经网络中ReLU激活函数优化设计［J］.信息通信，2018（1）：42-43.
［15］ 亢文倩.融合标签语义特征的BERT微调问句分类方法［J］. 电视技术，2022，46（5）：46-49，53.

相似文献/References:

备注/Memo

备注/Memo:
收稿日期：2023-03-08
基金项目：国家自然科学基金（62171327）
作者简介：张 渊，硕士研究生。E-mail：[email protected]
*通讯作者：姚 峰，硕士，副教授。E-mail：[email protected]
引文格式：张渊，姚峰. 基于知识嵌入式预训练语言模型的文本分类方法研究［J］. 武汉工程大学学报，2023，45（6）：674-679.

更新日期/Last Update: 2023-12-25