Sensitive Text Recognition Based on Deep Bidirectional LSTM and MultiHeadAttention

ZHU Dingju; DENG Renfeng; WU Chao

doi:10.11907/rjdk.251081

您当前的位置：

首页 >

文章列表页 >

Sensitive Text Recognition Based on Deep Bidirectional LSTM and MultiHeadAttention

Artificial Intelligence | 更新时间：2026-04-30

- Sensitive Text Recognition Based on Deep Bidirectional LSTM and MultiHeadAttention
- Software Guide Vol. 25, Issue 4, Pages: 57-64(2026)
- 作者机构：
  
  华南师范大学人工智能学院，广东佛山 528000
- 作者简介：
- 基金信息：
- DOI：10.11907/rjdk.251081
  CLC： TP391.1
- Received：25 March 2025，
  
  Published：15 April 2026
- 稿件说明：
移动端阅览
朱定局,邓任丰,吴超.基于深层双向LSTM与MultiHeadAttention的敏感文本识别[J].软件导刊,2026,25(04):57-64.

ZHU Dingju,DENG Renfeng,WU Chao.Sensitive Text Recognition Based on Deep Bidirectional LSTM and MultiHeadAttention[J].Software Guide,2026,25(04):57-64.
朱定局,邓任丰,吴超.基于深层双向LSTM与MultiHeadAttention的敏感文本识别[J].软件导刊,2026,25(04):57-64. DOI： 10.11907/rjdk.251081.

ZHU Dingju,DENG Renfeng,WU Chao.Sensitive Text Recognition Based on Deep Bidirectional LSTM and MultiHeadAttention[J].Software Guide,2026,25(04):57-64. DOI： 10.11907/rjdk.251081.

摘要

随着互联网的发展和网民规模的扩大，线上信息传播更加便捷，但其中夹杂的敏感信息会危害网络社会和谐，尤其是影响低龄网民的价值观。因此，对敏感信息的自动化监测和识别非常重要。传统的自动化识别方法依赖于敏感词库，有一定的局限性，而深度学习技术的发展为敏感信息识别带来了新契机。基于LSTM模型，参考BiLSTM模型逻辑，结合注意力机制提出基于深层双向LSTM与MultiHeadAttention的敏感文本识别方法DBLSTM_MultiHeadAttention，并以新浪微博内容为数据来源，经主题模型筛选、回译法增强后，得到33 452条高质量数据用于训练、验证和测试。实验结果显示，该模型准确率达到90.79%，精确率达到93.37%，召回率达到94.21%，F1值为0.937 9，综合性能优于其他模型。该研究为互联网信息监管提供了有力的技术支撑。

Abstract

With the development of the Internet and the expansion of the scale of netizens， online information is easily disseminated， but the sensitive information mixed with it will harm the harmony of the network society， especially affect the values of younger netizens. Therefore， it is very important to automatically monitor and identify sensitive information. Based on the LSTM model， the BiLSTM model logic and attention mechanism，this paper proposes a sensitive text recognition method DBLSTM_MultiHeadAttention based on deep bidirectional LSTM and MultiHeadAttention， and takes Sina Weibo as the data source. After LDA model screening and translation enhancement， 33 452 high-quality data were obtained for training， verification and testing. The experimental results show that the accuracy rate of the model is 90.79%， the accuracy rate is 93.37%， the recall rate is 94.21%， the F1 value is 0.937 9， and the comprehensive performance is better than other models. This research provides strong technical support for Internet information supervision.

关键词

Keywords

references

GUAN X Y ， ZHAO M ， WU W C . A short text information filtering algorithm based on DFA ［J］. Software Guide ， 2023 ， 22 （ 4 ）： 103 - 108 .

关兴义，赵敏，伍文昌 . 一种基于DFA的短文本信息过滤算法［J］. 软件导刊， 2023 ， 22 （ 4 ）： 103 - 108 .

WANG L J . Sensitive text classification based on multi-module graph attention mechanism ［D］. Xi’an ： Xidian University ， 2022 .

王莉娟 . 基于多模块图注意力机制的敏感文本分类［D］. 西安：西安电子科技大学， 2022 .

HUANG C ， ZHAO Q R . Sensitive information detection method based on language model word embedding and attention mechanism ［J］. Journal of Computer Applications ， 2012 ， 42 （ 7 ）： 2009 - 2014 . doi: 10.11772/j.issn.1001-9081.2021050877 http://dx.doi.org/10.11772/j.issn.1001-9081.2021050877

黄诚，赵倩锐 . 基于语言模型词嵌入和注意力机制的敏感信息检测方法［J］. 计算机应用， 2022 ， 42 （ 7 ）： 2009 - 2014 . doi: 10.11772/j.issn.1001-9081.2021050877 http://dx.doi.org/10.11772/j.issn.1001-9081.2021050877

QIN Y W ， YANG Y . Research on document sensitive content recognition algorithm based on inter-class discreteness ［C］// Shenyang：Proceedings of the 10th Annual Conference of China Communications Society ， 2014 ： 229 - 234 .

秦艺文，杨榆 . 基于类间离散度的文档敏感内容识别算法研究［C］// 沈阳：第十届中国通信学会学术年会， 2014 ： 229 - 234 .

DU X T ， ZHANG C ， DU G ， et al . Research on bad text message recognition in 5G messages ［C］// Beijing： Proceedings of the 5G Network Innovation Symposium （2021 ）， 2021 ： 45 - 49 .

杜雪涛，张晨，杜刚，等 . 5G消息中不良文本消息识别技术研究［C］// 北京：5G网络创新研讨会（2021 ）， 2021 ： 45 - 49 .

LI W . Design of web sensitive words filtering system based on decision tree ［D］. Xi’an ： Northwest A&F University ， 2019 .

李伟 . 基于决策树的网页敏感词过滤系统设计［D］. 西安：西北农林科技大学， 2019 .

AN M F . Research and implementation of sensitive content recognition mechanism for big data security ［D］. Beijing ： Beijing Jiaotong University ， 2022 .

安美芳 . 一种面向大数据安全的敏感内容识别机制研究与实现［D］. 北京：北京交通大学， 2022 .

HUANG Y ， DAI X H ， HUANG W J ， et al . Text classification based on A-BiLSTM and CNN ［J］. Computer Engineering and Design ， 2024 ， 45 （ 5 ）： 1428 - 1434 .

黄远，戴晓红，黄伟建，等 . 基于A-BiLSTM和CNN的文本分类［J］. 计算机工程与设计， 2024 ， 45 （ 5 ）： 1428 - 1434 .

LIANG T . Multi-object sensitive text detection based on unbalanced data ［D］. Chengdu ： University of Electronic Science and Technology of China ， 2020 .

梁涛 . 基于非平衡数据的多目标敏感文本检测［D］. 成都：电子科技大学， 2020 .

XU G S ， QI C H ， YU H ， et al . Detecting sensitive information of unstructured text using convolutional neural network ［C］// 2019 International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery ， 2019 ： 474 - 479 . doi: 10.1109/cyberc.2019.00087 http://dx.doi.org/10.1109/cyberc.2019.00087

CAI Y Q . Research and implementation of network photos sensitive detection ［D］. Chongqing ： Chongqing University of Posts and Telecommunications ， 2021 .

蔡元奇 . 网络图片敏感文字的检测研究与实现［D］. 重庆：重庆邮电大学， 2021 .

LIANG K . Sensitive information recognition based on sentiment analysis of user original content ［D］. Xi’an ： Xidian University ， 2022 .

梁康 . 基于用户原创内容情感分析的敏感信息识别［D］. 西安：西安电子科技大学， 2022 .

SONG K S ， KANG Y ， GAO W ， et al . Evidence aware neural pornographic text identification for child protection ［C］// Proceedings of the AAAI Conference on Artificial Intelligence ， 2021 ： 14939 - 14947 . doi: 10.1609/aaai.v35i17.17753 http://dx.doi.org/10.1609/aaai.v35i17.17753

DOU J R . Research on detection methods for sensitive content on internet ［D］. Xi’an ： Xidian University ， 2023 .

窦井苒 . 面向互联网敏感内容检测方法的研究［D］. 西安：西安电子科技大学， 2023 .

WANG L J . Sensitive text classification based on multi-module graph attention mechanism ［D］. Xi’an ： Xidian University ， 2022 .

王莉娟 . 基于多模块图注意力机制的敏感文本分类［D］. 西安：西安电子科技大学， 2022 .

HU C . Research on the identification of undesirable short texts with variants ［D］. Hangzhou ： Hangzhou Dianzi University ， 2022 .

胡创 . 带变体的不良短文本识别方法研究［D］. 杭州：杭州电子科技大学， 2022 .

GU H S ， LI Q ， SHEN D M . Research on sensitive text classification detection and classification based on improved artificial neural network ［J］. Journal of Combinatorial Optimization ， 2023 ， 46 （ 3 ）： 20 . doi: 10.1007/s10878-023-01085-8 http://dx.doi.org/10.1007/s10878-023-01085-8

ZHANG J Q ， GAO S B ， SU R ， et al . A two-stage knowledge distillation text classification method based on a fusion group teaching assistant model ［J］. Journal of Changzhou University （Natural Science Edition）， 2024 ， 36 （ 6 ）： 71 - 82 . doi: 10.3969/j.issn.2095-0411.2024.06.009 http://dx.doi.org/10.3969/j.issn.2095-0411.2024.06.009

张骏强，高尚兵，苏睿，等 . 融合群助教模型的两阶段知识蒸馏文本分类方法［J］. 常州大学学报（自然科学版）， 2024 ， 36 （ 6 ）： 71 - 82 . doi: 10.3969/j.issn.2095-0411.2024.06.009 http://dx.doi.org/10.3969/j.issn.2095-0411.2024.06.009

DENG C Y ， QI X G . Fraud identification in telecommunication networks based on transformer and multi-task learning ［J］. Journal of Applied Science and Technology ， 2024 ， 51 （ 5 ）： 256 - 262 . doi: 10.11991/yykj.202406012 http://dx.doi.org/10.11991/yykj.202406012

邓翠艳，齐小刚 . 基于Transformer及多任务学习的电信网络诈骗识别［J］. 应用科技， 2024 ， 51 （ 5 ）： 256 - 262 . doi: 10.11991/yykj.202406012 http://dx.doi.org/10.11991/yykj.202406012

ZHANG H Y . Sensitive information processing in audio based on speech recognition technology ［D］. Chongqing ： Chongqing Technology and Business University ， 2023 .

张洪艳 . 基于语音识别技术的音频内敏感信息处理［D］. 重庆：重庆工商大学， 2023 .

WEN M Q . Research on classification method of gun-related Internet public opinion information based on multi-layer information fusion ［D］. Xi 'an ： Xi 'an University of Technology ， 2024 .

文苗青 . 基于多层信息融合的涉枪网络舆情信息分类方法研究［D］. 西安：西安理工大学， 2024 .

DU M H ， CUI X J ， JIANG Y M ， et al . Research on MOOC recommendation method based on LDA topic model ［J］. Computer and Digital Engineering ， 2024 ， 52 （ 12 ）： 3616 - 3622，3760 . doi: 10.3969/j.issn.1672-9722.2024.12.024 http://dx.doi.org/10.3969/j.issn.1672-9722.2024.12.024

杜梦晗，崔仙姬，姜雨蒙，等 . 基于LDA主题模型的MOOC推荐方法研究［J］. 计算机与数字工程， 2024 ， 52 （ 12 ）： 3616 - 3622，3760 . doi: 10.3969/j.issn.1672-9722.2024.12.024 http://dx.doi.org/10.3969/j.issn.1672-9722.2024.12.024

WANG S X . An analysis on the application of translation back to college English writing teaching ［J］. English Abroad ， 2024 （ 12 ）： 132 - 134 .

汪淑娴 . 回译法在大学英语写作教学中的应用探析［J］. 海外英语， 2024 （ 12 ）： 132 - 134 .

ZHANG M C ， PU Q M ， HUANG F L . False news detection based on BERT-BiLSTM model ［J］. Journal of the Chinese Academy of Electronic Sciences ， 2025 ， 20 （ 1 ）： 33 - 40 .

张敏超，蒲秋梅，黄方俐 . 基于BERT-BiLSTM模型的虚假新闻检测［J］. 中国电子科学研究院学报， 2025 ， 20 （ 1 ）： 33 - 40 .

WANG T J ， YAN Y ， GUO X R ， et al . Tangka question classification model combining multi-scale CNN and bidirectional LSTM ［J］. Science Technology and Engineering ， 2024 ， 24 （ 22 ）： 9490 - 9497 .

王铁君，闫悦，郭晓然，等 . 融合多尺度CNN与双向LSTM的唐卡问句分类模型［J］. 科学技术与工程， 2024 ， 24 （ 22 ）： 9490 - 9497 .

GONZALEZ-HUITRON V ， LEÓN-BORGES J A ， RODRIGUEZ-MATA A E ， et al . Disease detection in tomato leaves via CNN with lightweight architectures implemented in raspberry Pi 4 ［J］. Computers and Electronics in Agriculture ， 2021 ， 181 ： 105951 . doi: 10.1016/j.compag.2020.105951 http://dx.doi.org/10.1016/j.compag.2020.105951

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Cooperative Model of Automatic Modulation Recognition Based on Combination Strategy

Research on Stock Index Prediction Based on Deep Learning Methods Such as LSTM

Human Jumping Knee-Bending Angle Recognition Model Based on Multi-Channel Attention

A Review of Deep Learning-Based Adrenal CT Image Segmentation Research

Innovative Applications and Improvements of Deep Learning in the Detection and Recognition of Oracle-bone Character Images

Related Author

MA Sheng-yu

SHI Jian

SONG Yi-jie

CHEN Li-ping

GAO Yan

LI Jia

HUANG Zhi-hao

CHEN Dong-lan

Related Institution

Department of Computer Science and Technology, Henan University of Science and Technology

Library,Jiaxing Nanhu University

Institute of Information Network and Artificial Intelligence, Jiaxing University

Department of Mathematics, Jiangxi University of Science and Technology

Business School， Shanghai University of Science and Technology

⁰