第３２卷第３期 ２ ０ １ １年６月 衡阳师范学院学报 Ｊｏｕｒｎａｌ ｏｆ Ｈｅｎｇｙａｎｇ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ ＮＯ．３Ｖｏ１．３２ Ｊ Ｌｉｌｌｅ．２ ０１１ 校园网流量分析系统的设计与实现 林维锵 （广东广播电视大学信息网络中心，广东广州 ５１００９１） 摘 要：流量分析是日趋繁杂的网络管理的重要手段。根据中小型校园网的实际需求，设计并开发出了一个具 有较高实用性的校园网流量分析检测系统，该系统具有部署简易、采集信息丰富、性能稳定、界面直观、不需 特定设备支持和针对校园网管理需要设计等特点，已在广东电大及多所下属电大的校园网得到成功应用。 关键词：流量采集；ＳｎｉｆｆｅｒＰｒｏ；流量分析 中图分类号：ＴＰ３９３．０７ 文献标志码：Ａ 文章编号：１６７３—０３１３（２０１１）０３～００７２—０４ ０前 言 随着新的网络应用对带宽需求的快速提高，及Ｐ２Ｐ应 用对校园网出口带宽的严重影响，目前很多校园网经常出现 出ＶＩ流量超负荷导致校园网缓慢的现象。电大系统的市县 电大的网络基本属于中小型校园网，多数由于设备投入及技 术人员的不足，网络常处于拥塞状况，未能为远程开放教育 １系统的总体结构设计 Ｌ ｌ 系统设计的思想与原则 校园网流量分析系统对优化网络性能作用较大，管理员 通过系统应能了解整个网络中的流量分布、协议应用和节点 带宽占用等情况，在保证系统的性能情况下，应尽量提供详 细、丰富、直观的信息。在系统的设计上，主要考虑在原有设 提供良好网络支持。流量分析是日趋繁杂的校园网管理的 重要处理手段，通过对网络流量的分析，管理者可充分了解 网络中的应用分布、资源利用率等网络运行状况，从而做出 有效的管理措施，提升网络服务及应用水平。 备基础上部署本系统，不需增加其它网络设备，通过使用成 熟稳定的软件工具为基础设施，实现对网络中总流量、协议 分布、节点流量、并发数等重要的流量数据进行监控分析。 １．２ 系统使用主要软件工具 目前大部分校园网部署的网络管理软件的流量监控分 析功能主要是基于ＳＮＭＰ协议实现，只能采集到基于链路 层的数据，实现对链路总流量的监控分析，而无法对网络层 本系统主要使用ＳｎｉｆｆｅｒＰｒｏ４．７５、．ＮＥＴ和ＳＱＬ Ｓｅｒｖ— ｅｒ２００８等工具软件。ＳｎｉｆｆｅｒＰｒｏ是一种功能强大的网络流量 捕获工具，具备４５０种协议解码能力和强大的Ｅｘｐｅｒｔ分析 功能，可准确分析出绝大部分应用在网络中的使用情况，各 网络节点的应用分布及网络中的应用连接情况。ＳｎｉｆｆｅｒＰｒｏ 和应用层的数据做深入的分析，难以充分发挥流量分析的作 用。基于Ｆｌｏｗ技术、网络探针等的流量分析技术，可以实现 对链路层到应用层的流量分析，但需要网络设备或特定设备 的支持，具有一定局限性或需较多投入０一。目前开始流行的 网络流量控制设备，虽具有流量控制及分析功能，但高端产 品的价格昂贵，低端产品的性能及稳定性则难以满足实际需 求。作者通过对现有流量分析现况研究，根据中小型校园网 管理需要，结合实际环境，利用ＳｎｉｆｆｅｒＰｒｏ日志作为分析基 础，不需增加额络硬件设备及改变网络拓扑结构，设计 和实现了一个具有很强实用性、高可用性的校园网流量分析 系统。 具备强大的实时流量分析功能，但缺乏对Ｐ２Ｐ及异常流量 分析及大容量流量数据存储统计功能，本文利用ＳｎｉｆｆｅｒＰｒｏ 完善详细的日志，通过．ＮＥＴ强大开发能力及ｓＱＬ Ｓｅｒｖｅｒ 海量数据存储能力，开发流量分析系统对海量校园网流量日 志的统计分析。 １．３ 系统总体结构 网络流量分析系统主要由数据采集、数据存储、流量预 收稿日期：２Ｏｌ１—０３ Ｏ８ 作者简介：林维锵（１９７５一），男，广东揭阳人，实验师，硕士，研究方向：网络管理和安全 ２０１１年第３期 林维锵：校园网流量分析系统的设计与实现 ７，３ 测和数据统计分析等几大部分组成。流量数据采集子系统 主要完成网络中各主要链路的流量原始数据采集，其采集的 数据包括链路层到应用层的流量数据，并对采集的数据进行 园网的核心流量数据进行捕获，需要将流量捕获工具部署在 重要链路上，目前大多数中小型的校同网基本以防火墙作为 核心设备，一般情况下，可选择内网的出口和互联网出口作 初步处理，是整个系统的基础［２ｊ。流量数据统计子系统的实 时流量统计分析模块主要对所采集到的流量数据进行实时 的处理，其功能主要有流量实时监控和异常流量分析，并能 做出相应的安全措施；历史流量统计分析模块功能包括各分 层的流量监控、应用分布、排序分析、趋势分析、异常分析、报 表查询等主要功能，该子模块是整个系统的核心。流量分析 预测主要对流量数据进行实验分析，预测未来一段时间的流 量情况。数据库存储系统负责存储海量的流量数据，并提供 备份、检索等任务。系统的整体设计如图１所示。 图１ 流量分析系统总体结构图 图１清晰表示了各子系统之间关系及在整个系统中的 作用，以及子系统的主要模块划分及其之间关系，除实时流 量监控数据通过直接读取文件获取，各子系统的数据通过 ＡＤＯ．ＮＥＴ中数据流接口进行传送。根据实际网络流量压 力，可将各子模块部署在一台主机上，也可分散部署在多台 主机上，具有良好的可扩展性。流量数据采集及统计分析子 系统是本系统的重要组成部分。 ２系统的详细设计与实现 ２．１ 流量数据采集与存储系统的设计与实现 ２．１．１ 流量数据采集 校园网中的网络应用复杂，需要对应用层的流量进行分 析，根据ＩＰ地址、端口号、连接情况等重要的流量参数来对 校园网的应用进行检测，从而做出相应的管理措施。为对校 为部署点。对于大多数的中小型校园网，其互联网的出口链 路带宽普遍不大，大多在ｌＯＯＭ以下，若有多个部署点，可在 一台主机上同时启动多个程序进程对相应的网络适配器进 行流量捕获 。默认情况下ＳｎｉｆｆｆｅｒＰｒｏ不启用日志记录功 能，需根据需要对所需日志信息、捕获间隔等进行相关设置， 设置完成后将在指定目录实时生成详细流量日志。 ２．１．２数据存储系统设计 数据库系统是校园网流量分析系统的核心之一，负责对 巨大流量记录数据的存储和对数据进行一定程度地处理。 网络流量分析涉及到大量的实时和历史的网络数据，分析巨 量的流量数据系统要求有强大事务处理能力的数据库，数据 采集系统要求数据库有快速响应的能力。本文研究的流量 数据，除了静态的信息和动态变化的流量数据，还有实时显 示的状态信息及需要保存多年的分析数据，这些数据的分类 和性质比较复杂，需采用一个具备完善功能集，能够提供存 储多种数据类型，可进行各种数据操作的商用数据库系 统 。出于可控制性、通用性和易用性的考虑，本系统采用 微软公司的Ｍｉｃｒｏｓｏｆｔ ＳＱＬ Ｓｅｒｖｅｒ２００５作为流量监控系统 的后台数据库系统。 ２．１．３ 数据采集存储实现 本系统的流量采集分为两种方式：一种是实时的流量数 据采集，主要用于对流量的实时分析统计；另一种是非实时 的流量数据采集，用于对历史流量数据的采集。实时流量数 据采集模块通过对指定的日志文件进行实时读写，将新记录 存储到指定数据表和将日志操作记录存人操作日志库，其实 现相对比较简单，主要利用程序定时对指定的日志文件进行 查询，发现有新纪录时将其输入相应的数据库中实时流量 表。历史流量数据采集模块实现对指定目录中所需的文件 进行入库操作，其主要功能是将历史流量数据文件存储到指 定数据表和将日志操作记录存人操作Ｅｌ志库，以及每天定时 完成昨天历史流量数据入库操作。 ２．２网络流量预测 网络流量带有某种随机的性质，即具有某种统计的分 布，只有对流量数据用统计学的方法进行分析，才能发现其 中规律，并对未来流量行为的变化进行预测。考虑到系统未 来发展的扩展性，预测网络流量的变化、网络结构的变化对 用户系统的影响非常重要。网络流量的预测分析可以做到， 设置服务水平、完成网络容量规划、离线测试网络、网络失效 和容量极限分析、完成日常故障诊断、预测网络设备迁移和 网络设备升级对整个网络的影响，根据规划数据进行预测并 及时提供网络性能预测数据。本文利用时间序列模型对收 集到的实际网络流量数据平稳处理后进行预测，并通过实 验证明该预测方法具有一定实用性。 ２．３ 流量数据统计分析模块的设计与实现 网络流量统计分析使得管理员可掌握校园网中的网络 ７４ 衡阳师范学院学报 ２０１１年第３２卷 情况，了解各主要链路的流量情况，各种网络应用的分布情 量的统计查询。应用协议统计分析模块，对整体流量中协议 分布情况进行统计分析，能根据指定时间和时间间隔对各种 况，各入网主机的流量带宽及连接情况等重要的流量信息， 从而做出相应的管理措施。 ２．３。１ 校园网流量分析的需求 协议进行统计分析。连接信息统计分析模块，实现对基于 ＩＰ地址的连接数据进行统计分析，能根据指定参数查询指 定主机的连接数、使用协议、字节数等信息，从而实现一些复 杂功能。 校园网流量分析可从链路层、网络层和应用层来进行分 析。链路层流量分析主要是对校园网中主要链路和重要节 点的端口流量信息进行处理，其流量信息从宏观角度对校园 网的整体流量信息做分析，掌握校园网中流量整体情况；网 络层流量分析主要是对基于ＩＰ地址的校园网节点进行流量 ２．３．３ 系统实现及部分结果分析 本子系统采用基于Ｗｅｂ的三层分布式结构模型：表示 层、业务层和数据层。系统的实现主要是通过使用ｓＱＬ语 的统计分析，其流量信息包含了校园网中所有入网节点的流 量使用情况，对管理者掌握校园网的流量分布情况，以及发 现校园网的流量异常有较大作用；应用层流量分析主要是对 校园网中流量的应用情况做统计分析，其流量数据除了包括 端到端ＩＰ流量的信息之外，还有应用层的端口信息，其流量 信息包含了校园网中各种应用的分布情况，对于详细了解校 园网中网络应用的使用情况，发现异常网络流量，提高校园 网的管理水平有较大作用 。 ２．３．２ 子系统的功能模块 校园网流量分析子系统的主要功能如图２所示。 网络流量分析 实时流量分析 历史流量分析 整 异 异 流 节 应 连 体 常 常 量 占 用 接 流 流 处 统 流 协 信 量 量 理 计 量 议 息 情 检 模 查 查 统 统 况 测 块 询 询 计 计 监 分 分 分 分 分 控 析 析 析 析 析 图２ 网络流量分析功能图 （１）网络流量实时分析主要包含整体流量情况监控、异 常流量检测分析和异常处理模块：整体流量情况监控模块， 实现对部署点整体流量的监控，功能有对所监控链路的总数 据包、字节数、广播包、使用率、各种长度数据包的分布情况 的分析。异常流量检测分析模块，本系统的重要部分，实现 对校园网中非正常流量的检测分析，功能主要是对使用Ｐ２Ｐ 应用、扫描流量、病毒异常流量的主机的发现检测。异常处 理模块，主要根据异常检测分析模块发现的异常信息，进行 Ｅ—ｍａｉｌ、声音和日志等方式报警处理。 （２）网络流量统计分析主要包含整体流量统计查询分 析、节点流量查询分析、应用协议统计分析和连接信息统计 分析模块：流量统计查询分析模块，实现对整体流量的查询 统计分析，能根据需要按照指定时间和时间间隔进行历史流 量的统计分析。节点流量查询分析模块，实现对节点的流量 杏询分析，能根据指定时间、ＩＰ地址、地址范围进行历史流 句对数据库进行查询并整理后，在Ｖｉｓｕａｌ Ｓｔｕｄｉｏ的Ｇｒｉｄｖｉｅｗ 和ＷｅｂＣｈａｒｔ控件中进行直观显示。 （１）网络实时流量的监控分析 实时流量监控主要是对整体流量进行监控，在实时流量 采集的基础上，通过定时对实时流量数据表进行查询，并将 其输出便可实现对所需流量的实时监控，其效果如图３ 所示。 图３网络实时流量图 （２）异常流量的检测分析 异常流量检测分析难点在于监控阀值参数的设定，监控 参数主要有两个：一个是所连接主机数，另一个是总流量字 节数。这两个参数的对检测结果有较大的影响，若参数值设 定太低，将可能引起较多误报，但设定太高将造成漏报。本 文作者根据对校同网中多种常用的Ｐ２Ｐ应用进行测试研究 分析，结合现有校园网的数据分析结果，阀值设置为５分钟 内的主机连接数超过１００个设定为异常流量主机，为保证检 测结果的准确性，系统在稍长的时间间隔内，如：ｌ５或３Ｏ分 钟，再对异常主机进行统计分析，并使用新的提高后阀值进 行检测，最终确认异常流量的主机。 （３）历史流量的统计分析 网络流量历史统计分析模块实现对历史数据的统计查 询分析管理，用于管理员进行研究分析，以做出相应的优化 措施，提高校园网性能。该子系统提供了用户上网行为分 析、历史流量分析报表、异常流量分析等功能，涵盖了网络流 量分析的大部分细节。管理员可根据实际需要输入查询条 件，系统将对流量分析统计的结果，在图形用户界面上用多 种方式呈现出来，使用户能详细和直观的知道校园网流量情 况，并进行分析。如图４为使用本系统查询生成的过去一个 ２０１１年第３期 林维锵：校园网流量分析系统的设计与实现 ７５ 月内，使用访问流量最高的服务器流量情况，该图是根据访 ｉ＇ａ】数据包数量进行排名，图表显示的是服务器的总字节数。 主机的查询，除了能对流量排名前几位的进行查询外，还可 对指定服务器进行详细的查询，以了解每台服务器的被访问 情况和访问规律。 种网络应用使用情况等，从而做出相应措施，提高校同网的 性能和可用性。本文设计和实现的流量分析系统，具有部署 简易、采集信息丰富、性能稳定、界面直观、不需特定设备支 持和针对校园网管理需要设计等特点，该系统目前已在广东 广播电视大学及其多所下属的市县电大的校园网进行使用， 系统运行稳定，效果显著，对提高校园的管理水平有较大的 帮助。流量分析是一件非常复杂的研究Ｔ作，需要不断对新 网络应用进行研究，方能准确对流量进行分析，本文对流量 分析还不够深入，特别是对异常流量分析，有待一步的研究， 对流量的预测功能也是处于实验阶段，有待深化研究部署。 参考文献： ［１］王志．基于ＮｅｔＦｌｏｗ的流量统计分析系统设计与实现 ［Ｄ］．北京：北京邮电大学，２００７． ［２３郑林江．基于交换机流量和网络线路的监控系统ＬＪ］．计 算机应用，２００９（１２）：８－１０． 图４流量前十名的服务器流量分布情况图 ［３２苟娟迎，马力．网络流量分析方法综述［Ｊ］．西安邮电学 院学报，２Ｏ１０（４）：２０－２３． ３结 语 校园网已成为学校开展教学活动的重要工具．对校同网 Ｅ４２ Ｃ０ＲＭ０ＤＥ Ｇ，ＭＵＴＨＵＫＲ ＩＳＨＡＮ Ｓ．Ｗｈａｔ’Ｓ ｎｅｗ： ｆｉｎｄｉｎｇ ｓｉｇｎｉｆｉ２ ｃａｎｔ ｄｉｆｆｅｒｅｎｃｅｓ ｉｎ ｎｅｔｗｏｒｋ ｄａｔａ ｓｔｒｅａｍｓ ［Ｊ］．ＡＣＭ ＩＮＦＯＣＯＭ，２００４，３３（１）：ｌ２１２． ［５２周小勇，胡宁．基于数据流的实时网络流量分析系统设 计与实现［Ｊ］．计算机应用研究，２００７（１０）：２９５—２９７． 流量的统计分析是管理好校园网络的基础。通过对网络流 量的监控分析，可及时发现异常流量，掌握流量分布情况，各 Ｄｅｓｉｇｎ ａｎｄ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ａｂｏｕｔ Ａｎａｌｙｓｉｎｇ Ｓｙｓｔｅｍ ｏｆ Ｃａｍｐｕｓ Ｎｅｔｗｏｒｋ Ｔｒａｆｆｃ ｌ ｌ Ｎ Ｗｅｉ—ｑｉａｎｇ （Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｎｅｔｗｏｒｋ Ｔｅｃｈｉｎｇｕｅ Ｃｅｎｔｒｅ。Ｇｕａｎｇｄｏｎｇ Ｒａｄｉｏ＆ＴＶ Ｕｎｉｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｕ Ｇｕａｎｇｄｏｎｇ ５１００９１，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｆｏｒ ｔｈｅ ｉｎｃｒｅａｓｉｎｇｌｙ ｃｏｍｐｌｉｃａｔｅｄ ｎｅｔｗｏｒｋ ｍａｎａｇｅｍｅｎｔ，ｎｅｔｗｏｒｋ ｔｒａｆｆｉｃ ａｎａｌｙｓｉｓ ｈａｓ ｂｅｃｏｍｅ ａｎ ｉｍｐｏｒｔａｎｔ ｍｅｔｈｏｄ．Ｔｈｉｓ ｐａｐｅｒ ｄｅｓｉｇｎｓ ａｎｄ ｉｍｐｌｅｍｅｎｔｓ ａ ｃａｍｐｕｓ ｎｅｔｗｏｒｋ ａｎａｌｙｚｉｎｇ ａｎｄ ｔｅｓｔｉｎｇ ｓｙｓｔｅｍ ｗｉｔｈ ｒｅｌａｔｉｖｅｌｙ ｈｉｇｈ ｐｒａｃｔｉｃａｌｉｔｙ ａｃｃｏｒｄｉｎｇ ｔＯ ｔｈｅ ａｃｔｕａｌ ｄｅｍａｎｄ ｏｆ ｔｈｅ ｓｍａｌｌ ａｎｄ ｍｅｄｉｕｍ—ｓｉｚｅｄ ｃａｍｐｕｓ ｎｅｔｗｏｒｋ．Ｔｈｅ ｔｒａｆｆｉｃ ａｎａｌｙｚｉｎｇ ｓｙｓｔｅｍ ｉｓ ｆｅａｔｕｒｅｄ ａｓ ｅａｓｙ ｄｅｐｌｏｙｍｅｎｔ，ｓｔａ— ｂｌｅ ｐｅｒｆｏｒｍａｎｃｅ，ｐｅｒｆｅｃｔ ｆｕｎｃｔｉｏｎ，ｖｉｓｕａｌ ｉｎｔｅｒｆａｃｅ ａｎｄ ａｉｍｉｎｇ ａｔ ｔｈｅ ｃａｍｐｕｓ ｎｅｔｗｏｒｋ ｍａｎａｇｅｍｅｎｔ ｒｅｑｕｉｒｅｍｅｎｔ．Ａｔ ｐｒｅｓｅｎｔ，ｉｔ ｈａｓ ｂｅｅｎ ｓｕｃｃｅｓｓｆｕｌｌｙ ａｐｐｌｉｅｄ ｉｎ ｔｈｅ ｃａｍｐｕｓ ｎｅｔｗｏｒｋ ｏｆ Ｇｕａｎｇｄｏｎｇ Ｒａｄｉｏ ， Ｕｎｉｖｅｒｓｉｔｙ ａｓ ｗｅｌｌ ａｓ ｓｏｍｅ ｏｆ ｉｔｓ ｓｕｂｏｒｄｉｎａｔｅ Ｒａｄｉｏ＆ ＴＶ ｕｎｉｖｅｒｓｉｔｉｅｓ． Ｋｅｙ ｗｏｒｄｓ：ｔｒａｆｆｉｃ ｃｏｌｌｅｃｔｉｏｎ；ＳｎｉｆｆｅｒＰｒｏ；ｔｒａｆｆｉｃ ａｎａｌｙｓｉｓ
