[1]杨 敏,刘黎志*,邓开巍,等.基于Spark的自适应差分进化极限学习机研究[J].武汉工程大学学报,2021,43(03):318-323.[doi:10.19843/j.cnki.cn42-1779/tq.202101009]
YANG Min,LIU Lizhi*,DENG Kaiwei,et al.Self-Adaptive Differential Evolution Extreme Learning Machine Based on Spark[J].Journal of Wuhan Institute of Technology,2021,43(03):318-323.[doi:10.19843/j.cnki.cn42-1779/tq.202101009]
点击复制
基于Spark的自适应差分进化极限学习机研究(/HTML)
《武汉工程大学学报》[ISSN:1674-2869/CN:42-1779/TQ]
- 卷:
-
43
- 期数:
-
2021年03期
- 页码:
-
318-323
- 栏目:
-
机电与信息工程
- 出版日期:
-
2021-06-30
文章信息/Info
- Title:
-
Self-Adaptive Differential Evolution Extreme Learning Machine Based on Spark
- 文章编号:
-
1674 - 2869(2021)03 - 0318 - 06
- 作者:
-
杨 敏; 刘黎志*; 邓开巍; 刘 杰
-
智能机器人湖北省重点实验室(武汉工程大学),湖北 武汉 430205
- Author(s):
-
YANG Min; LIU Lizhi*; DENG Kaiwei; LIU Jie
-
Hubei Key Laboratory of Intelligent Robot(Wuhan Institute of Technology),Wuhan 430205,China
-
- 关键词:
-
差分进化; 极限学习机; 并行化; Spark
- Keywords:
-
differential evolution; extreme learning machine; parallelization; Spark
- 分类号:
-
TP311
- DOI:
-
10.19843/j.cnki.cn42-1779/tq.202101009
- 文献标志码:
-
A
- 摘要:
-
为了解决传统自适应差分进化极限学习机(SaDE-ELM)在单机环境下运行效率低下的问题,本文提出了基于Spark平台的并行化自适应差分进化极限学习机算法(PSaDE-ELM)。该算法的主要思想是:将差分进化算法中的原始种群均匀地分割为几个子种群,每个子种群均占有RDD的一个分区,在每个分区中使用SaDE-ELM算法独立进化,并且周期性地将各个子种群中的最优个体按照一定的拓扑结构替换掉其他子种群的最差个体,以此来达到各个子种群共同进化的目的。实验结果表明:PSaDE-ELM算法的预测准确率与SaDE-ELM算法相比基本没有丢失,且随着数据集样本数或子种群数量的增加,算法的运行效率至少提升了1.5倍,在一定程度上证明了本文提出的并行化算法的有效性。
- Abstract:
-
To solve the problem of low running performance of the traditional self-adaptive differential evolution extreme learning machine (SaDE-ELM) in stand-alone application environment,this paper proposes a parallel self-adaptive differential evolution extreme learning machine(PSaDE-ELM) based on the spark platform. The main principle behind the algorithm is as follows.First, the original population in the differential evolution algorithm is divided into several sub-populations evenly.Each sub-population occupies a partition of the RDD and evolves independently based onthe SaDE-ELM algorithm.Then, the optimal individuals in each sub-population are selected and replace the worst one speriodically according to a certain topological structure of the population which can achieves the purpose of coevolution of all sub-populations. The experimental results show that the prediction accuracy of the PSaDE-ELM algorithm is nearly the same with the SaDE-ELM algorithm. However, as the number of samples in the data set or the number of subpopulations increases, the running performance of the proposed algorithm is improved by at least 1.5 times, which to a certain extent validates the effectiveness of the proposed parallelized algorithm.
参考文献/References:
[1] CAO JW, LIN Z P, HUANG G B. Self-adaptive evolutionary extreme learning machine[J].Neural Processing Letters,2012,36(3):285-305.[2] 陈茸,韩宝安,韩宝华,等. 基于DE-MELM的土质边坡稳定性预测方法[J]. 安全与环境工程,2020,27(4):87-93. [3] 文武,乔龙辉,何鹏. 基于自适应差分进化极限学习机的车牌识别算法[J]. 电子技术应用,2017,43(1):133-136. [4] 周靖楠,刘振男. 基于自适应差分进化算法优化极限学习机的干旱预测方法[J]. 水电能源科学,2018,36(6):6-9. [5] 赵坤,覃锡忠,贾振红. 采用改进的布谷鸟算法优化极限学习机[J]. 计算机仿真,2018,35(11):236-241. [6] 李向伟,刘思言,高昆仑. 基于差分进化极限学习机的电力系统暂态稳定评估方法[J]. 科学技术与工程,2020,20(1):213-217. [7] 胡函武,施伟,陈桥,等. 基于改进差分进化算法优化极限学习机的短期负荷预测[J]. 宁夏电力,2018(4):36-42. [8] 宋泊东,张立臣,江其洲. 基于Spark的分布式大数据分析算法研究[J]. 计算机应用与软件,2019,36(1):39-44. [9] 杨立月,王移芝. Spark在集成学习文本情感分析中的应用[J]. 计算机应用与软件,2020,37(6):130-134. [10] 彭辉. 基于Hadoop的差分进化极限学习机研究[D]. 长沙:湖南师范大学,2016. [11] 吴信东,嵇圣硙. MapReduce与Spark用于大数据分析之比较[J]. 软件学报,2018,29(6):1770-1791. [12] 翟俊海,齐家兴,沈矗,等. 基于MapReduce和Spark的大数据主动学习比较研究[J]. 计算机工程与科学,2019,41(10):1715-1722. [13] 何经纬,刘黎志,彭贝,等. 基于Spark并行SVM参数寻优算法的研究[J]. 武汉工程大学学报,2019,41(3):283-289. [14] HUANG G B, ZHU Q Y, Chee-Kheong Siew.Extreme learning machine: Theory and applications[J]. Neurocomputing,2006,70(1-3):489-501. [15] 李婉华,陈羽中,郭昆,等. 基于改进粒子群优化的并行极限学习机[J]. 模式识别与人工智能,2016,29(9):840-849. [16] 余相君. 布谷鸟搜索改进的K-means聚类算法及其并行化实现[D]. 重庆:重庆大学,2017. [17] 孙康丽. 自适应分布式差分进化算法及并行化研究[D]. 大连:大连理工大学,2018.
备注/Memo
- 备注/Memo:
-
收稿日期:2021-01-19基金项目:湖北省教育厅科学研究计划指导性项目(B2017051)作者简介:杨 敏,硕士研究生。E-mail:[email protected]*通讯作者:刘黎志,硕士,副教授。E-mail:[email protected]引文格式:杨敏,刘黎志,邓开巍,等. 基于Spark的自适应差分进化极限学习机研究[J]. 武汉工程大学学报,2021,43(3):318-323.
更新日期/Last Update:
2021-06-28