：ｌ： 一种基于数据分布的ＳＶＭ回归方法 郭金玲 （山西大学商务学院信息学院 太原０３００３１） 摘要 核函数参数选择是支撑向量（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ，ＳＶＭ）研究的主要问题之一。提出了检验样本是否呈高斯分布的 方法，确定最优核参数选择的依据。采用人工数据集进行回归实验，验证了文中方法的有效性。 关键词 支撑向量机 回归 高斯分布 中图分类号Ｇ３０４ 文献标识码Ａ 文章编号５９９０ Ａ Ｋｉｎｄ ｏｆ ＳＶＭ Ｒｅｇｒｅｓｓｉｏｎ Ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ Ｄａｔａ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｇｕｏ Ｊｉｎｌｉｎｇ （Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ，Ｂｕｓｉｎｅｓｓ ＣｏＵｅｇｅ ｏｆ Ｓｈａｎｘｉ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｘｉ Ｔａｉｙｕａｎ ０３００３ １） Ａｂｓｔｒａｃｔ Ｔｈｅ ｋｅｒｎｅｌ ｐａｒａｍｅｔｅｒ ｓｅｌｅｃｔｉｏｎ ｉｓ ｏｎｅ ｏｆ ｔｈｅ ｋｅｙ ｐｒｏｂｌｅｍｓ ｆｏｒ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ（ＳＶＭ）．Ｉｎ ｔｈｉｓ ｐａｐｅｒ， ａ ｎｅｗ ｗａｙ ｔｏ ｓｅｌｅｃｔ ｔｈｅ ｋｅｒｎｅｌ ｆｕｎｃｔｉｏｎ ａｎｄ ｉｔｓ ｐａｒａｍｅｔｅｒ，ｉｓ ｐｒｅｓｅｎｔｅｄ．Ｉｔ ｉｓ ｂａｓｅｄ ｏｎ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ ｄａｔａ ｄｉｓｔｒｉｂｕ－ ｔｉｏｎ．Ｔｈｅ ｐａｐｅｒ ｐｒｅｓｅｎｔｓ ａｎ ａｐｐｒｏａｃｈ ｔｏ ｄｅｔｅｒｍｉｎｅ Ｇａｕｓｓ ｄｉｓｔｒｉｂｕｔｉｏｎ．Ａｎｄ ｔｈｅｎ ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｄｅｔｅｒｍｉｎｉｎｇ Ｇａｕｓｓ ｄｉｓｔｉｌ－ ｂｕｔｉｏｎ，ｔｈｉｓ ｐａｐｅｒ ｄｉｓｃｕｓｓｅｓ ｈｏｗ ｔｏ ｓｅｌｅｃｔ ｔｈｅ ｋｅｒｎｅｌ ｆｕｎｃｔｉｏｎ ａｎｄ ｉｔｓ ｐａｒａｍｅｔｅｒ．Ｔｈｅ ｓｉｍｕｌａｔｉｏｎ ｅｘｐｅｒｉｍｅｎｔｓ ｄｅｍｏｎｓｔｒａｔｅ ｔｈｅ ｆｅａｓｉｂｉｌｉｔｙ ａｎｄ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｔｈｅ ｐｒｅｓｅｎｔｅｄ ａｐｐｒｏａｃｈ． Ｋｅｙｗｏｒｄｓ Ｓｕｐｐｏ￣ｖｅｃｔｏｒ ｍａｃｈｉｎｅ Ｒｅｇｒｅｓｓｉｏｎ Ｇａｕｓｓ ｄｉｓｔｒｉｂｕｔｉｏｎ 一采用最小二乘法求得ａ和ｂ的值，回归函数如下： 、引言 支撑向量机主要用于解决大数据领域中的分类及预测 ７ 问题等ｆ １。今年来，许多学者将该技术应用于空气监测、金 融评测、医学分析、地质勘查等实际问题的解决过程中１４－６１。 ｆ（ｘ）： ｋ（ｘｉ，ｘ）＋ｂ ｉ＝ｌ （４） ＳＶＭ方法通过引入核函数，将样本映射到高维空间实现预 测及分类，其预测最优化过程可描述为： 在实际问题的解决过程中，核函数的参数选取是最为 关键的，而核参数的选取是一直以来的研究热点【７．８１。本文 ｍｉｎ ｗＩＩ２ 探讨了在样本基本符合高斯分布时，如何高效正确选取核 参数的过程，实验结果证明该方法的有效性。 ｓｔ．Ｙｉ ． 一６】 １ ｉ＝１ ２一，，（１） 二、实验样本集 文中选取样本集Ｄ１进行实验，Ｄ１是人工构造的高斯 结合拉格朗日函数，以上模型转化为： 分布数据集，具体分布见图ｌ。 （ｗ １（ｗｗ）一 Ｉ ｗ）’一６ Ｆｉ－Ｉ｝（２） 三、核参数选取方法 对于实验样本集｛（ｘ。，Ｙ ），…，（ Ｙ．）｝，采用以下算法检 ｍａｘ ｒｖ（ａ ＝∑ ∑ ｒ ，Ｊ 验其是否呈高斯分布，具体过程如下： ｉ＝ｌ ，ｊ＝ｌ 步骤１：取ｍ＝ｎ，将实轴分为ｎ＋１个区间； ０，ｉ＝１，…，Ｊ『 步骤２：采用极大似然法计算出 ， 的估计值 ， ； 步骤３：计算出统计量 ∑ Ｙ，＝０ （３） ＶＩ＝ （Ｖｆ一， 一 一 ；ｌｃ基金项目：山西大学商务学院院基金（２０１６００８） 办公自动化杂志 ３９‘ 图１高斯分布数据集Ｄ１ 步骤４：若Ｖ 近似服从 分布，则断定该样本集呈高 斯分布，同时在以上判断过程中，可计算出形状分布参数。 结论：如果实验样本集基本呈高斯分布，采用高斯核进行 回归实验时，其最优核参数可以选取样本集的形状分布参数。 四、数值实验 采用文中的方法对样本集Ｄ１检测，通过以上四个步骤的 计算，可得到结论：Ｄ１呈高斯分布，且形状参数为０．７；采用 ＳＶＭ方法对Ｄ１进行回归实验，具体实验结果图见图２、图３。 图２ Ｄ１回归图（高斯核。口＝０。７） 通过比较以上数值实验，可以看到：数据集呈高斯分布时，采 用高斯核ＳＶＭ，且核参数和其形状参数一致时，回归效果最好。 五、小结 本文探讨了数据集呈高斯分布时，如何高效选取核函 数及参数的过程。首先给出了判断数据呈高斯分布的方 法，采用人工构造的数据集进行了数值实验，实验结果表 明文中提出的方法的正确性及有效性。 ’４０‘办公自动化杂志 总第３５９期 图３ Ｄ１回归图（高斯核，ａ＝ｌＯ） 参考文献 ［１］Ｗ．Ｊ．Ｗａｎｇ，Ｚ．Ｂ．Ｘｕ，Ｗ．Ｚ．Ｌｕ ａｎｄ Ｘ．Ｙ．Ｚｈａｎｇ． Ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ｔｈｅ ｓｐｒｅａｄ ｐａｒａｍｅｔｅｒ ｉｎ ｔｈｅ Ｇａｕｓｓｉａｎ ｋｅｒｎｅｌ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｒｅｇｒｅｓｓｉｏｎ［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ， ２００３，５５：６４３—６６３． 【２】Ｋ．Ｂ．Ｄｕａｎ，Ｓ．Ｋｅｅｔｈｉ，Ａ．Ｎ．Ｐｏｏ Ｅｖａｌｕａｔｉｏｎ ｏｆ ｓｉｍｐｌｅ ｐｅｒｆｏｒｍａｎｃｅ ｍｅａｓｕｒｅ ｆｏｒ ｔｕｎｉｎｇ ＳＶＭ ｈｙｐｅｒｐａｒａｍｅｔｅｒｓ［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２００３，５１：４１—５９． 【３］Ｖ．Ｃｈｅｒｋａｓｓｋｙ，Ｙ．Ｑ．Ｍａ．Ｐｒａｃｔｉｃａｌ ｓｅｌｅｃｔｉｏｎ ｏｆ ＳＶＭ ｐａｒａｍｅｔｅｒｓ ａｎｄ ｎｏｉｓｅ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ＳＶＭ ｒｅｇｒｅｓｓｉｏｎ［Ｊ］．Ｎｅｕｒｌａ Ｎｅｔｗｏｒｋｓ，２００４，１７：１１３－１２６． ［４］胡世前，姜倩雯，凌冰，尹伟东．基于改进支持向 量机的空气质量监测预警模型［Ｊ】．江苏大学学报（自然科学 版），２０１６，３４（４）：３８—４２． 【５］蔡丹莉，郭红．基于混合核函数ＳＶＭ的蛋白质相 互作用预测方法【Ｊ］．福州大学学报（自然科学版），２０１４，４２ （６）：８３４—８４０． 【６］ＳＥ奉伟，周世健，周清，池其才．局部均值分解结 合支持向量回归的大坝变形预测…－钡０绘科学，２０１６，３４ （３）：４２—４７． ［７］Ｂ．Ｋｒａｗｃｚｙｋ，Ｍ．Ｗｏｚｎｉａｋ，Ｆ．Ｈｅｒｒｅｒａ．Ｏｎ ｔｈｅ ｕｓｅｆｕｌｎｅｓｓ ｏｆ ｏｎｅ—ｃｌａｓｓ ｃｌａｓｓｉｉｆｅｒ ｅｎｓｅｍｂｌｅｓ ｆｏｒ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ｍｕｌｔｉ－ｃｌａｓｓ ｐｒｏｂｌｅｍｓ［Ｊ］．Ｐａｔｔｅｎｒ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１５，４８（１２）： ３９６９－３９８２． ［８］ＷＡＮＧ ＸＩＡＯＭＩＮＧ，ＣＨＵＮＧ Ｆ Ｌ，ＷＡＮＧ ＳＨＩＴＯＮＧ． Ｔｈｅｏｒｅｔｉｃａｌ ａｎａｌｙｓｉｓ ｆｏｒ ｓｏｌｕｔｉｏｎ ｏｆ ｓｕｐｐｏ￣ｖｅｃｔｏｒ ｄａｔａ ｄｅｓｃｒｉｐｔｉｏｎ 【Ｊ］．Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，２０１１，２４（４）：３６０－３６９． 作者简介 郭金玲（１９８２ ），女（汉族），山西子县人，山西大学 商务学院信息学院教师，副教授，硕士研究生，研究方向， 机器学习与数据挖掘。
