|本期目录/Table of Contents|

[1]刘黎志,杨　敏.基于MapReduce的支持向量机参数选择研究[J].武汉工程大学学报,2022,44(01):85-91.[doi:10.19843/j.cnki.cn42-1779/tq.202012022]
　LIU Lizhi,YANG Min.Optimal Parameters Selection of Support Vector Machine Based on MapReduce Framework[J].Journal of Wuhan Institute of Technology,2022,44(01):85-91.[doi:10.19843/j.cnki.cn42-1779/tq.202012022]
点击复制

基于MapReduce的支持向量机参数选择研究(/HTML)
分享到：

《武汉工程大学学报》[ISSN:1674-2869/CN:42-1779/TQ]

卷:
44
期数:
2022年01期
页码:
85-91
栏目:
机电与信息工程
出版日期:
2022-02-28

文章信息/Info

Title:
Optimal Parameters Selection of Support Vector Machine Based on MapReduce Framework
文章编号:
1674 - 2869（2022）01 - 0085 - 07
作者:
刘黎志; 杨　敏
智能机器人湖北省重点实验室（武汉工程大学），湖北 武汉 430205
Author(s):
LIU Lizhi;  YANG Min
Hubei Key Laboratory of Intelligent Robot （Wuhan Institute of Technology），Wuhan 430205，China
关键词:
MapReduce; 支持向量机分类; 交叉验证; 参数选择
Keywords:
MapReduce;  support vector machine classification;  cross validation;  parameter selection
分类号:
TP311
DOI:
10.19843/j.cnki.cn42-1779/tq.202012022
文献标志码:
A
摘要:
针对在分布式Hadoop集群环境下对支持向量机进行最优分类模型参数选择的问题，提出一种基于MapReduce框架的最优分类模型参数选择算法。该算法能以串行或单个MapReduce作业这两种方式完成最优模型参数的选择，在Map阶段读取存储在Hadoop分布式文件系统中的参数文件，并为每组参数生成具有不同键值的中间结果，以保证在Reduce阶段，每个并行执行的任务仅对一组参数进行交叉验证。实验结果表明，在集群内存资源合理消耗的前提下，为粗粒度最优参数搜索设置适当的Reduce数量，单个MapReduce作业方式相比于串行MapReduce作业方式算法运行效率至少提升了1.7倍，显著减少最优模型参数的获取时间。
Abstract:
Aiming at the problem of parameter selection for optimal classification model of Support Vector Machine in a distributed cluster of Hadoop, a parameter selection algorithm for optimal classification model based on MapReduce was proposed. The algorithm can complete the selection of optimal parameters in two modes: serial and single MapReduce jobs. In the Map stage， the parameter files stored in Hadoop Distributed File System was read, and intermediate results with different key values were generated for each set of parameters to ensure that each parallel executed task only performed cross-validation on one set of parameters in the Reduce stage. The experimental results show that on the premise of reasonable consumption of cluster memory resources, setting the appropriate number of Reduce for coarse-grained optimal parameter search, the operation efficiency of single MapReduce job mode is improved by at least 1.7 times compared with serial MapReduce job mode, and the acquisition time of optimal model parameters is significantly reduced.

参考文献/References:

［1］　顾吉峰，王蓓. 基于改进粒子群算法的孪生支持向量机［J］. 计算机工程与设计，2020，41（11）：3078-3082. ［2］　贾银江，姜涛，苏中滨，等. 基于改进SVM算法的典型作物分类方法研究［J］. 东北农业大学学报，2020，51（7）：77-85. ［3］　张剑飞，王真，崔文升，等. 一种基于SVM的不平衡数据分类方法研究［J］. 东北师大学报（自然科学版），2020，52（3）：96-104. ［4］　吴信东，嵇圣硙. MapReduce与Spark用于大数据分析之比较［J］. 软件学报，2018，29（6）：1770-1791. ［5］　翟俊海，齐家兴，沈矗，等. 基于MapReduce和Spark的大数据主动学习比较研究［J］. 计算机工程与科学，2019，41（10）：1715-1722. ［6］　宋泊东，张立臣，江其洲. 基于Spark的分布式大数据分析算法研究［J］. 计算机应用与软件， 2019， 36（1）：39-44. ［7］　罗祖兵，杨晓敏，严斌宇. 基于Hadoop和Spark的雷达数据序列模式挖掘系统［J］. 计算机应用，2019，39（增刊2）：169-174. ［8］　满蔚仕，吉元元. Hadoop平台分布式SVM算法分类研究［J］. 计算机系统应用，2017，26（8）：141-146. ［9］　王卫红，金凌剑. 基于Spark的情感分析集成算法［J］. 浙江工业大学学报，2020，48（4）：405-410，434. ［10］　马莹莹，王黎明，王世卿. 基于MapReduce的并行增量迭代支持向量机算法［J］. 计算机应用与软件，2015， 32（4）：288-291. ［11］　郭鹏辉. 层叠支持向量机优化及并行化实现［D］. 兰州：兰州大学，2018. ［12］　张鹏翔，刘利民，马志强. 基于MapReduce 的层叠分组并行SVM算法研究［J］. 计算机应用与软件， 2015（3）：172-176. ［13］　赵文芳，王京丽，尚敏，等. 基于粒子群优化和支持向量机的花粉浓度预测模型［J］. 计算机应用，2019，39（1）：98-104. ［14］　何经纬，刘黎志，彭贝，等. 基于Spark并行SVM参数寻优算法的研究［J］. 武汉工程大学学报，2019，41（3）：283-289. ［15］　吴云蔚，宁芊. 基于Hadoop平台的分布式SVM参数寻优［J］. 计算机工程与科学，2017（6）：35-40. ［16］　白玉辛. 基于Flink平台并行SVM算法研究［D］. 兰州：兰州理工大学，2021. ［17］　李坤，刘鹏，吕雅洁，等. 基于Spark的LIBSVM参数优选并行化算法［J］. 南京大学学报（自然科学版），2016， 52（2）：343-352.

相似文献/References:

[1]刘黎志,张　威.消除规范关系连接冗余的二次排序算法研究[J].武汉工程大学学报,2017,39(05):508.[doi:10. 3969/j. issn. 1674?2869. 2017. 05. 018]
　LIU Lizhi,ZHANG Wei.Secondary Sort-Based Algorithm for Eliminating Normative Join Redundancy[J].Journal of Wuhan Institute of Technology,2017,39(01):508.[doi:10. 3969/j. issn. 1674?2869. 2017. 05. 018]
[2]李姚舜,刘黎志*.逻辑回归中的批量梯度下降算法并行化研究[J].武汉工程大学学报,2019,(05):499.[doi:10. 3969/j. issn. 1674-2869. 2019. 05. 017]
　LI Yaoshun,LIU Lizhi*.Parallel Research on Batch Gradient Descent Algorithm in Logistic Regression[J].Journal of Wuhan Institute of Technology,2019,(01):499.[doi:10. 3969/j. issn. 1674-2869. 2019. 05. 017]
[3]张晨跃,刘黎志*,邓开巍,等.基于MapReduce的朴素贝叶斯算法文本分类方法[J].武汉工程大学学报,2021,43(01):102.[doi:10.19843/j.cnki.CN42-1779/TQ.202009022]
　ZHANG Chenyue,LIU Lizhi*,DENG Kaiwei,et al.Text Classification Method of Naive Bayes Algorithm Based on MapReduce[J].Journal of Wuhan Institute of Technology,2021,43(01):102.[doi:10.19843/j.cnki.CN42-1779/TQ.202009022]

备注/Memo

备注/Memo:
收稿日期：2020-12-22 基金项目：2017年度湖北省教育厅科学研究计划指导性项目（B2017051）作者简介：刘黎志，硕士，副教授。E-mail：[email protected]引文格式：刘黎志，杨敏. 基于MapReduce的支持向量机参数选择研究［J］. 武汉工程大学学报，2022，44（1）：85-91.
更新日期/Last Update: 2022-03-01