基于Hadoop技术的电信大数据分析平台的设计和实现

信息通信

INFORMATION&COMMUNICATIONS

2016

（Sum.No166）

基于Hadoop技术的电信大数据分析平台的设计和实现

张功水

（辽宁广告职业学院计算机中心，辽宁沈阳110000）

摘要：近年来，随着云计算技术的到来，大数据普及率越来越高。同时，中国国内移动互联网市场已经吸引了超过5亿的

移动端用户，每天产生巨大的数据量。在这种情况下，如何利用云计算能力来存储、处理和分析数据，已成为一个非常有价值的课题。关键词：

中图分类号：TP311.13文献标识码：A文章编号：1673-1131（2016）10-0114-02

1大数据背景

移动网络给信息交换带来了便利并深深地影响了人们的社会行为。对移动交通数据的分析能够帮助我们更好地理解移动数据使用者、移动通信以及移动网络。随着网络提速和移动设施的建设和发展，使用者所产生的移动数据增加迅速。传统流量分析技术无法满足大数据时代的需求。对大数据的收集、储存和分析成为了一项巨大的挑战。计算机云技术对能够对大数据进行高效、快速处理并储存大数据。当前，Hadoop技术被广泛运用于计算机云构建。

在此背景下，本文以真实的移动互联网的海量交通数据设计了一个基于Hadoop的流量日志分析、整理和存储的系统，用于有效地处理和分析大量的移动互联网流量日志。为了建立一个稳定、高效的云计算环境，我们设计了一个Hadoop集群监控系统——Zoomanager，从而提供完整的监测与预警功能。为了提高基于Hadoop的云计算平台的性能，我们提出建立一个模型来预测的CPU利用率和基于资源消耗模式的云平台的MapReduce工作运行时间。基于FLASH和ZooManager，我们对移动通信和移动用户的特点进行了研究。此外，我们还对移动互联网中复杂网络的特点进行了研究。

2基于Hadoop技术的电信大数据分析主要研究内容

（1）设计了一个基于Hadoop的离线流量分析系统，从而

可靠地、高效地对流量数据进行存储和分析工作。

我们设计了一个基于Hadoop的工具，流量日志分析系统FLAS），用于分析大量的交通数据。闪存可以存储过程和计算大量的移动互联网流量记录有效。Flash具有以下三个特点：①Flash是非常适合结构化/半结构化数据（像流记录）的分析与处理；②在数据上传模块、自主开发的交通监控系统TMS）是用来收集镜像包和生成的流量记录。闪存会上传所有的流量记录，HDFS；③在数据分析模块，为了提高开发效率，简化代码开发，我们开发了一个高层次的语言表达的分布式数据分析程序。

最后，我们检查的运行效率和容错FLA文件来证明我们的系统的可用性。

（2）设计了一个云计算监控系统的管理、监控、预警和优化层，使整个系统稳定、高效。

运行Hadoop集群维护一直是用户的一个巨大挑战。我们设计了一个Hadoop集群监控系统zoomanager提供管理、监控、预警和优化功能的云计算环境。zoomanager可以收集监测数据和变换的基本指标分为容易理解方面，根据特定的算法。所有的度量都存储和分析，以发现问题和异常数据。此外，监控系统有助于我们了解整个云计算平台的运行状况和１１４

历史统计，为资源的角度来看，并为我们提供了合理的建议，为优化系统。

（3）根据云计算资源的消费模式，我们提出了一个预测模型的运行时间和在云计算环境下运用MapReduce的工作提高CPU使用率的云计算环境中的。

（4）为了进一步优化Flash和Hadoop集群，提出一个基于MapReduce的云平台，用来预测的CPU利用率和作业运行时间的资源消耗模型。该模型是基于多项式回归建模方法预测不同配置下MapReduce的工作性能。

（5）我们构建了一个以移动互联网为复杂网络的用户服务器网络图，研究了移动互联网中复杂网络的特征。

构建移动互联网的物理结构是网络建模的关键。现有的固定式互联网的研究不适合移动互联网，因此必须加大对移动互联网流量图的深入了解。

通过我国在华南地区部署的自主研发设备，对华南地区的移动互联网的完整流程进行记录。我们从复杂的网络角度来看网络调查、即时通讯和整体流量的特点。

3基于Hadoop技术的电信大数据分析的特点

从电信operators5角度，巨大的数据迫使他们投资升级网络设备和计算资源以确保其服务质量。但另一方面，新兴的数据业务正在切断传统语音和信息业务的利润，这就导致电信运营商进入一个低利润的恶性循环。因此如何利用移动互联网数据流量对电信运营商有着重要的意义。本文分析了大规模的网络数据处理平台基于Hadoop的移动互联网数据流量和关键技术研究的特点。具体而言，主要特点如下：

3.1构建了移动互联网的海量数据处理架构

我们提出了一个安全的云计算平台，进行分布式数据采集，对海量的网络数据进行存储并对数据进行分析。在移动互联网环境这个大平台下进行大规模数据处理。其中包括四个模块：数据采集、数据存储、数据处理和交通安全检测。它完全符合从数据采集到数据处理的生命周期。此外，为了提高平台的安全性和效率，我们也考虑和实现海量数据存储、高效的数据处理，并基于云计算技术的快速进行异常检测。我们的优化已通过实验和实践，并证明具有安全性，有助于服务质量的提高。我们将专注研究基于平台架构的一些关键技术。

3.2提出了一种基于分布式故障检测机制的高度可靠的数据采集框架

数据采集是整个过程的第一步。我们需要保证数据的完整性和可信度。否则，任何跟进的努力都将是毫无意义的。所以我们列举和分析了在移动互联网数据收集困难的特点，包括分布式的本性，高度动态的，采集终端的多样性，节点的异质性，

（（计算机辅助制造软件功能测试方法

叶

婷

（广州赛度检测服务有限公司，广东广州510940）

摘要：随着时代的进步、社会的发展，计算机应用遍布我们生活的方方面面。计算机辅助制造软件作为计算机科技的典

型应用之一，近年来发展迅速，为实现传统制造业的信息化改造，提升制造业的设计水平提供了基础条件。在我们应用计算机辅助制造软件进行生产和设计时，一方面得益于软件提供的智能设计工具的便利；另一方面也对计算机辅助制造软件的功能适用性产生困惑。鉴于此，文章给出了一种面向计算机辅助制造软件的功能测试方法。提出软件总体架构设计，对架构中的设计环节进行详细阐述。该文对软件测试工作人员有一定的帮助。关键词：计算机辅助制造；软件测试；功能测试；系统架构中图分类号：TP311文献标识码：A文章编号：1673-1131（2016）10-0115-02

0引言

随着时代的进步，社会的发展，计算机应用遍布我们生活

[1]

的方方面面。计算机辅助制造软件作为计算机科技的典型应用之一，近年来发展迅速，为实现传统制造业的信息化改造，提升制造业的设计水平提供了基础条件。如Autocad软件，通过Autocad软件可以实现对物体的三维建模，能够对物体三维形状中的每一个细节进行推敲。这样在进行实际产品的生产前，实现了对产品设计各个环节的计算机辅助设计[2]。提高了产品的设计水平，保证了产品的设计质量，对社会生产具有较大的积极作用。还如目前较为流行的3D打印。通过设计计算机3D打印程序软件和打印平台，实现了对3D产品生产制造的信息化水平，便利了人们的生活。计算机辅助制造软件还有很多，这里就不一一列举了。计算机辅助制造软件带给我们较多的便利，为我们的社会进步贡献了力量。

在我们应用计算机辅助制造软件进行生产和设计时，一

方面得益于软件提供的智能设计工具为设计提供的便利；另一方面也对计算机辅助制造软件的功能适用性产生困惑。如有的软件功能否实现、有的软件抗干扰能力较差，甚至有的软件捆绑有病毒程序，能够对安装使用此软件的计算机系统造成严重的破坏。

鉴于此，本文提出一种面向计算机辅助制造软件的功能测试方法。给出了软件总体架构设计，对架构中的设计环节进行详细阐述。此文的特点有两个：①利用形式化设计方法，对软件中的功能进行了描述和定义；②使用功能聚类技术，实现了对软件功能的聚类分析，提高了软件功能的测试效率。此文对软件测试工作人员有一定的帮助，可以对软件测试技术提供参考方案。

1系统总体架构概述

本文构建的计算机辅助制造软件测试系统分为三个分层

并提出了一种分布式网络故障检测技术，设计了一个分布式节点的移动互联网的网络流量数据采集监控机制框架。该框架包含了节点故障检测和处理算法和负载均衡算法。它可以实现实时节点的监控，并提供有效的故障检测机制，以避免数据丢失。同时，为了防止一些节点上的过载，该算法在节点间平衡工作负载压力。实验结果给了我们一个积极的反馈，我们的框架可以实现动态均衡采集节点故障检测和快速处理节点负载，保证移动互联网流量数据采集的可靠性和完整性。

因此，我们研究设计了一种基于无MapReduce任务分配算法。

4结语

随着移动网络和互联网的融合，用户使用的各种数据服

务已成为信息传递的主要方式。这些业务数据通过互联网IP数据库途径进行数据传输。目前，根据用户行为特征或反映各种服务的真实的用户体验还不能对网络质量指标进行有效的有效的服务控制。在这种情况下，我们需要不断地收集IP数据包，然后研究并分析用户行为特征、数据服务的规律，从而提高网络的预测能力。对用户的特点的把握，能够促进未来网络的发展。参考文献：[1][2][3][4][5]

李国杰.大数据研究的科学价值[J].中国计算机学会通讯,2012,8(9):8-15.

王华奎.移动通信原理与技术.清华大学出版社,2009.王元卓,靳小龙,陈学旗.网络大数据的现状与展望[J].计算机学报,2013,36(6):1125-1137.

吴建军.网络信息的云计算监测模式分析与实现[J].电讯技术,2013,53(4):486-488.

李乔,郑啸.云计算研究现状综述[J].计算机科学,2011,38(4):32-37.

3.3实现了云计算环境下的动态存储分配的有效算法

通过这一问题研究提高了在异构环境中的Hadoop的性能。我们研究的评价方法对服务器性能和Hadoop技术。然后，我们提出了一种评估在云计算环境中的节点性能的方法。在此基础上，提出了一种基于节点性能评价的动态存储分配算法。该算法在存储数据中引入节点性能参数，并与节点性能相关的数据分布。实验结果表明，该算法可以提高数据局部映射任务的比例，缩短作业运行时间异构云计算环境。

3.4提出了基于异构云环境的动态推理的MapReduce算法

数据处理和分析是该平台中最核心的功能。数据处理的效率关系到海量网络数据处理平台的性能。因此，数据处理的性能优化是我们需要考虑的一个关键问题。如今，大多数的云计算集群是建立在阶段，并逐步升级硬件。同时，硬件更新速度非常快，这将不可避免地导致在云计算集群中的节点性能差异。因此，现有的云计算集群大多是异构的。Hadoop是为了适用于均匀的集群，当集群是异构的，Hadoop的性能将面临下降的趋势。

作者简介：张功水（1984-），男，辽宁鞍山人，现任辽宁广告职业

学院计算机中心教师，研究方向为计算机科学与技术。

１１５