维普资讯 http://www.cqvip.com 计算机科学２００７Ｖｏ１．３４ＮＱ．６ Ｐ２Ｐ分布式存储系统＊】 田荣华 卢显良 侯孟书 王晓斌 （电子科技大学计算机科学与工程学院 成都６１００５４） （电子科技大学成都学院 成都６１１７３１） 摘要设计了一个基于Ｐ２Ｐ的分布式存储系统。该存储系统采用高可扩展的Ｐ２Ｐ体系结构，将大量分散的节。点组 织成一个逻辑网络，充分利用原先被忽视的端系统资源，构建大规模分布式存储系统。该存储系统采用高效的结构化 Ｐ２Ｐ路由机制、动态自适应的副本管理、信任机制和激励机制为用户提供高效、可靠的分布式存储服务。 关键词对等网络，分布式存储系统，覆盖网络 Ｐ２Ｐ－ｂａｓｅｄ Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｒａｇｅ Ｓｙｓｔｅｍ ＴＩＡＮ Ｒｏｎｇ－Ｈｕａ ＬＵ Ｘｉａｎ－Ｌｉａｎｇ ＨＯＵ Ｍｅｎｇ—Ｓｈｕ ’ ＷＡＮＧ Ｘｉａｏ－Ｂｉｎ ’ （Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，ＵＥＳＴＣ，Ｃｈｅｎｇｄｕ ６１００５４） （Ｃｈｅｎｇｄｕ Ｃｏｌｌｅｇｅ，ＵＥＳＴＣ，Ｃｈｅｎｇｄｕ ６１１７３１） Ａｂｓｔｒａｃｔ Ｔｈｉｓ ｐａｐｅｒ ｄｅｓｉｇｎｓ ａ Ｐ２Ｐ—ｂａｓｅｄ ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｒａｇｅ ｓｙｓｔｅｍ：ＰｅｅｒＳｔｏｒｅ．Ｂａｓｅｄ ｏｎ ａ ｈｉｇｈｌｙ ｓｃａｌａｂｌｅ Ｐ２Ｐ ａｒｃｈｉ— ｔｅｃｔｕｒｅ，ＰｅｅｒＳｔｏｒｅ ｏｒｇａｎｉｚｅｓ ｌａｒｇｅ ｎｕｍｂｅｒｓ ｏｆ ｎｏｄｅｓ ｄｉｓｔｒｉｂｕｔｅｄ ｉｎ Ｉｎｔｅｒｎｅｔ ｉｎｔｏ ａ ｕｎｉｔｅｄ ｏｖｅｒｌａｙ ｎｅｔｗｏｒｋ ａｎｄ ｂｕｉｌｄｓ Ｐ２Ｐ－ｂａｓｅｄ ｄｉｓｔｒｉｂｕｔｅｄ ｓｔｏｒａｇｅ ｓｙｓｔｅｍ ｂｙ ｕｔｉｌｉｚｉｎｇ ｔｈｅ ｅｎｄ－ｓｙｓｔｅｍｓ ｒｅｓｏｕｒｃｅｓ ｉｇｎｏｒｅｄ ｉｎ ｔｈｅ ｐａｓｔ．Ｆｅａｔｕｒｉｎｇ ｗｉｔｈ ｅｆｆｅｃ— ｔｉｖｅ ｒｏｕｔｉｎｇ ｍｅｃｈａｎｉｓｍ，ａｄａｐｔｉｖｅ ｒｅｐｌｉｃａｔｉｏｎ ｍａｎａｇｅｍｅｎｔ，ｒｅｐｕｔａｔｉｏｎ ｍｅｃｈａｎｉｓｍ ａｎｄ ｉｎｃｅｎｔｉｖｅ ｍｅｃｈａｎｉｓｍ，ＰｅｅｒＳｔｏｒｅ ｐｒｏｖｉｄｅｓ ｕｓｅｒｓ ｗｉｔｈ ｅｆｆｉｃｉｅｎｔ，ｒｅｌｉａｂｌｅ，ｍａｓｓｉｖｅ ｓｔｏｒａｇｅ ｓｅｒｖｉｃｅ． Ｋｅ”Ｖ０ｒｄｓ Ｐｅｅｒ－ｔｏ－ｐｅｅｒ ｎｅｔｗｏｒｋ，Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｒａｇｅ ｓｙｓｔｅｍ，Ｏｖｅｒｌａｙ ｎｅｔｗｏｒｋ 随着Ｉｎｔｅｒｎｅｔ技术和计算机技术的不断发展，分布式存 储技术取得了长足的进步，然而用户和数据的不断增加，系统 ＦｒｅｅｎｅｔＣ ，ＣｈｏｒｄＥ ，ＣＡＮＬ ，ＰＡＳＴ￣引，ＯｃｅａｎＳｔｏｒｅ￣ 等。 根据节点集中程度和网络拓扑结构这两个特征，大致可 以将现有主流的Ｐ２Ｐ存储系统分类如表１。 表１ Ｐ２Ｐ存储系统分类 规模的不断扩大，对分布式存储技术提出了更高的要求，另 外，随着网络带宽的大幅增加和计算机能力的迅速增强，在传 统的客户机／服务器模式中被忽视的客户机成为一种宝贵的 资源。微软公司对４８０１台个人计算机，１０，５６８个文件系统， 共１０．５ＴＢ的数据进行了跟踪试验，分析并总结了这些机器 ＼ 结构化 Ｃｈｏｒｄ，ＣＡＮ， ｃｅａｎＳｔｏｒｅ，ＰＡＳＴ，ＣＦＳ 非结构化 Ｎａｐｓｔｅｒ，ＢｉｔＴｏｒｒｅｎｔ Ｇｎｕｔｅｌｌａ Ｋａｚａａ，ＭｏｒｐｈｅＵＳ 的使用情况［１］。实验表明，个人计算机平均只有５０ 的存储 资源得到了利用，大量的存储空间处于空闲状态。因此 “Ｈａｒｎｅｓｓ ｔｈｅ ｅｄｇｅ ｏｆ Ｉｎｔｅｒｎｅｔ”成为当前一个新的研究和应用 目标。 混合非集中式 完全非集中式 Ｏ部分集中式 Ｐ２Ｐ存储系统就是充分利用计算机的空闲计算资源、存 储资源和带宽资源，构建高可扩展、高可靠、高性能的分布式 存储系统。 本文的目标是设计一个基于Ｐ２Ｐ的分布式存储系统 ＰｅｅｒＳｔｏｒｅ（Ｐｅｅｒ－ｔｏ－Ｐｅｅｒ ｂａｓｅｄ Ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｒａｇｅ Ｓｙｓｔｅｍ）。 ２ ＰｅｅｒＳｔｏｒｅ分布式存储系统设计 ＰｅｅｒＳｔｏｒｅ的基本思想是利用Ｐ２Ｐ技术，通过Ｐ２Ｐ网络 １ 相关工作 自１９９９年以来，由Ｎａｐｓｔｅｒ点燃的Ｐ２Ｐ计算模式正在逐 将Ｉｎｔｅｒｎｅｔ范围内零散的计算机连接起来，整合这些计算机 上的空闲存储资源，形成一个高可扩展、高可靠、高性能、廉价 的分布式存储系统。 ＰｅｅｒＳｔｏｒｅ由地理分布的多个节点构成，每个节点都是拥 有存储空间的计算机，节点之间以Ｐ２Ｐ覆盖网络的方式 组织，采用结构化的路由算法实现节点定位及就近访问，文件 以副本的形式分布在系统的多个节点中，从而提高存储的可 渐成为研究和应用的热点。Ｐ２Ｐ计算模式的兴起得益于Ｉｎ— ｔｅｒｎｅｔ的广泛普及、网络带宽的大幅增加以及基于Ｉｎｔｅｒｎｅｔ端 系统计算能力的迅速增强。上述因素促使原先在其它计算模 式中被忽视的端系统成为一种宝贵的计算资源。到目前为 止，Ｐ２Ｐ研究已经涉及非常广泛的方面，主要包括：分布式数 据存储、大规模并行计算、即时通讯等。Ｐ２Ｐ分布式存储系统 的目的就是通过互联网将端系统闲散的网络资源整合起来， 实现大规模的文件共享和存储。现有的Ｐ２Ｐ分布式存储系 统中比较著名的系统有Ｎａｐｓｔｅ￣ ，ＧｎｕｔｅｌｌａＥ ，ＫａｚａａＣ ， ＊）ｏｇ子信息产业发展基金资助项目，编号ｔ Ｅ２００２￣１１０６。田荣华授，主要研究方向；程序设计语言与编译 靠性，并通过信任机制保证系统节点从高可信的节点取得服 务，采用激励机制抑制“搭便车”和“公共悲剧”现象。 从系统功能的角度可以把ＰｅｅｒＳｔｏｒｅ分为五层：应用层、 博士研究生，主要研究生，主要研究方向；分布式存储，分布式计算；卢显忘 博士，主要研究方向：分布式存储系统，Ｐ２Ｐ计算；王晓斌副教 教授，博士生导师，主要研究方向：计算机网络，操作系统，信息安全 侯盂书・４７・ 维普资讯 http://www.cqvip.com 会话层、数据层、路由层和物理层： ・放、匿名等特征，节点不为自身的行为负责，导致恶意节点滥 用Ｐ２Ｐ存储资源，甚至传播病毒等文件。ＰｅｅｒＳｔｏｒｅ根据确定 性理论的不确定推理建立了信任模型，以确保Ｐ２Ｐ存储系统 的良性发展。 ・应用层：系统用户通过用户界面直接与应用层交互。 通过应用层提供的文件服务接口，用户看到的将是一个虚拟 的存储空间，用户可以上传、下载、共享自己的文件，也可以访 问由其它用户共享出来的文件。由于应用层屏蔽了下层路 由、复制、传输等技术细节，用户可以像使用本地存储系统一 样访问分布式存储空间。在应用层中，可以利用系统下层提 供的文件存储共享功能，开发各种应用。 ・ＰｅｅｒＳｔｏｒｅ提供了激励机制。由于节点的自兴趣性和 理性，导致了“搭便车”和“公共悲剧”等问题，ＰｅｅｒＳｔｏｒｅ将节 点的贡献和其占用的公共资源挂钩，鼓励节点贡献其存储资 源。 会话层：该层实现了用户管理和目录管理等功能。用 ＰｅｅｒＳｔｏｒｅ的体系结构如图１所示。 Ａｐｐｌｉｃａｔｉｏｎ－ＬｅｖｅｌＩｎｔｅｒｆａｃｅ Ａｐｐｌｉｃ ｎＬａｙｅｒ 户的登录信息在会话层得到处理，会话层为每个用户提供独 立的目录空间。用户登录后，节点负责检查目录中的共享文 件所在的节点是否在线，如果节点不在线，则启动搜索机制， Ｕｓｅｒ ＭａｎＡ￣ｃｎｔ ｌｌＤ ｃｔｏｒｙ Ｍａｎａｇｅ皿ｎｔ ＳｅｓｓｉｏｎＬａｙｅｒ 在系统中查找可用的共享文件。 ・数据层：用户文件以多个副本的形式分散存放在系统 的多个节点之上，冗余的副本不仅提供数据容错，而且起到平 衡负载、提高访问效率的作用。数据层使用动态副本管理机 制，根据文件的受欢迎程度，动态的调整文件副本的数量和存 放位置，以降低系统热点，平衡负载，提高文件的可用性。通 过信任机制，节点可以选择可信度高的节点提供的服务，而从 可信度低的节点获取服务的可能性要小得多。通过激励机 制，系统可以有效地抑制“搭便车”和“公共悲剧”的现象，从而 确保系统拥有一定数量的可用存储资源。 ・路由层：采用一种基于Ｐ－Ｇｒｉｄ改进的Ｐ２Ｐ路由算法 ＰＮＳ－ＰＧｒｉｄ。通过该路由机制，可以将系统中松散的节点结 合到一起，形成一个结构化的分布式Ｐ２Ｐ网络。ＰＮＳ－ＰＧｒｉｄ 算法充分考虑节点间在底层的物理拓扑，使Ｐ２Ｐ网络拓扑尽 可能反映节点的底层物理拓扑，从而减少搜索延迟，提高搜索 效率，并最终提高建立在ＰＮＳ－ＰＧｒｉｄ算法之上的存储系统的 性能。 ・物理层：物理层由地理分布的具有存储空间和计算能 力的计算机即系统节点以及连接它们之间的底层网络部件构 成。各节点贡献自己的存储空间和计算资源，是构成Ｐ２Ｐ存 储系统的基本元素，是文件存储的实体，是路由转发的中间节 点。物理层是整个系统的物理基础。 ＰｅｅｒＳｔｏｒｅ具有以下特点： ・充分利用Ｉｎｔｅｒｎｅｔ上的多个节点的闲散资源，构建一 个持久的、高可用的分布式存储系统。节点可能属于不同的 地域、不同的部门、不同的组织等，这就避免了存储介质的运 输，节省了共享数据的费用，而且可以充分利用各个节点贡献 的存储和带宽，使得ＰｅｅｒＳｔｏｒｅ提供的存储资源超过任何单个 节点所能提供的存储资源。 ・有效的路由机制ＰＮＳ－ＰＧｒｉｄ确保用户的服务请求，路 由到在底层物理网络上距离自己较近的节点，以获得较低的 文件访问延迟，提高构建在其上的应用的系统性能。 ・ＰｅｅｒＳｔｏｒｅ提供的持久存储服务在文件的访问语义上， 有别于传统的文件系统。ＰｅｅｒＳｔｏｒｅ对于每个文件指定一个 全局唯一的文件标识符ｆｉｌｅｌＤ，对于共享模式的文件，一旦插 入ＰｅｅｒＳｔｏｒｅ系统，其内容和ｍｅＩ【）将不再改变，这就避免了 文件一致性协议，简化了系统设计的复杂性。 ・ＰｅｅｒＳｔｏｒｅ提供了信任机制。由于Ｐ２Ｐ存储系统的开 ・４８・ Ｉｎｃｅｎｔｉｖｅ Ｒｅｐｕｔａｔｉｏｎ Ｒｅｐｌｉｃａｔｉｏｎ Ｍｅｃｈａｎｉｓｍ Ｍｅｃｈａｎｉｓｍ Ｍａｎａｇｅｍｅｎｔ ＤａｔａＬａｙｅｒ ＲｏｕｔｈｌｇＰｒｏｔｏｃｏｌｓ ＲｏｕｔｅＬａｙｅｒ Ｐｅｅｒｓ ＰｈｙｓｉｃａｌＬａｙｅｒ 图１ ＰｅｅｒＳｔｏｒｅ体系结构 小结ＰｅｅｒＳｔｏｒｅ由地理分布的多个节点构成，每个节点 都是拥有存储空间的计算机，节点之间以Ｐ２Ｐ网络的方 式组织，采用结构化的路由算法实现节点定位及就近访问，文 件以副本的形式分布在系统的多个节点中，从而提高了存储 的可靠性，并通过信任机制保证系统节点从高可信的节点获 取服务，采用激励机制鼓励节点贡献其存储资源。 参考文献 １ Ｄｏｕｅｅｕｒ Ｊ Ｒ，Ｂｏｌｏｓｋｙ Ｗ Ｊ．Ａ ｌａｒｇｅ－Ｓｃａｌｅ Ｓｔｕｄｙ ｏｆ ｆｉｌｅ－ｓｙｓｔｅｍ Ｃｏｎｔｅｎｔｓ．ＳＩＧＭＥＴＲＩＣＳ’９９，１９９９，２７（１）：５９￣７０ ２ Ｎａｐｓｔｅｒ．ｈｔｔｐ：／／ｗｗｗ．ｎａｐｓｔｅｒ．ｃｏｍ．１９９９ ３ Ｇｎｕｔｅｌｌａ：Ｔｏ ｔｈｅ Ｂａｎｄｗｉｄｔｈ Ｂａｒｒｉｅｒ ａｎｄ Ｂｅｙｏｎｄ．ｈｔｔｐ：／／ｌａｍｂｄａ． ｅｓ．ｙａｌｅ．ｅｄｕ／ｃｓ４２５／ｄｏｃ／ｇｎｕｔｅｌｌａ．ｈｔｍ１．２００１ Ｋａｚａａ ｈｏｍｅ ｐａｇｅ．ｈｔｔｐ：｝｝ ．Ｋａｚａａ．ｃｏｍ．２０００ ５ Ｃｌａｒｋｅ Ｉ，ｅｔ ａ１．Ｆｒｅｅｎｅｔ：Ａ Ｄｉｓｔｒｉｂｕｔｅｄ Ａｎｏｎｙｍｏｕｓ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｔｏｒａｇｅ ａｎｄ Ｒｅｔｒｉｅｖａｌ Ｓｙｓｔｅｍ．ＩＣＳＩＷｏｒｋｓｈｏｐ ｏｎ Ｄｅｓｉｇｎ Ｉｓｓｕｅｓ ｉｎ Ａｎｏｎｙｍｉｔｙ ａｎｄ Ｕｎｏｂｓｅｒｖａｂｉｌｉｔｙ，Ｊｕｌｙ ２０００ ６ Ｓｔｏｉｅａ，Ｍｏｒｒｉｓ Ｒ，Ｋａｒｇｅｒ Ｄ，ｅｔ ａ１．Ｃｈｏｒｄ：Ａ ｓｃａｌａｂｌｅ ｐｅｅｒ－ｔｏ ｐｅｅｒ ｌｏｏｋｕｐ ｓｅｒｖｉｃｅ ｆｏｒ ｉｎｔｅｍｅｔ ａｐｐｌｉａｃｔｉｏｎ￣Ｉｎ：Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ ＳＩＧＣＯＭＭ’０１ Ｃｏｎｆｅｒｅｎｃｅ，Ｓａｎ Ｄｉｅｇｏ，Ｃａｌｉｆｏｒｎｉａ， Ａｕｇｕｓｔ ２００１ ７ Ｒａｔｎａｓａｍｙ Ｓ，Ｆｒａｎｃｉｓ Ｐ，Ｈａｎｄｌｅｙ Ｍ，Ｋａｒｐ Ｒ Ａ ｓｃａｌａｂｌｅ ｃｏｎ— ｔｅｎｔ－ａｄｄｒｅｓｓａｂｌｅ ｎｅｔｗｏｒｋ．Ｉｎ：Ｐｒｏｃｅｅｄｉｇｎｓ ｏｆ ＳＩ￣ＭＭ ２００１， Ａｕｇｕｓｔ ２００１ ８ Ｄｒｕｓｅｈｅｌ Ｐ，Ｒｏｗｓｔｒｏｎ八ＰＡＳＴ：Ａ ｌａｒｇｅ－ｓｃａｌｅ，ｐｅｒｓｉｓｔｅｎｔ ｐｅｅｒ－ ｔｏ－ｐｅｅｒ ｓｔｏｒａｇｅ ｕｔｉｌｉｔｙ．ＨｏｔＯＳ ｖＩＩＩ・Ｓｃｈｏｓｓ Ｅｌｍａｕ・Ｇｅｒｍａｎｙ， Ｍａｙ ２００１．７５￣８０ ９ Ｋｕｂｉａｔｏｗｉｃｚ，Ｂｉｄｎｅｌ Ｄ，Ｃｈｅｎ Ｙ，ｅｔ ａ１．ＯｃｅａｎＳｔｏｒｅ：Ａｎ Ａｒｃｈｉｔｅｃ－ ｔｕｒｅ ｆｏｒ Ｇｌｏｂａｌ—Ｓｃａｌｅ Ｐｅｒｓｉｓｔｅｎｔ Ｓｔｏｒａｇｅ．Ｉｎ：Ｐｒｏｃｅｅｄｉｇｎｓ ｏｆ ｔｈｅ Ｎｉｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｃｈｉｔｅｃｔｕｒａｌ Ｓｕｐｐｏｒｔ ｆｏｒ Ｐｒｏ— ｇｒａｍｍｉｎｇ Ｌａｎｇｕａｇｅｓ ａｎｄ Ｏｐｅｒａｔｉｇｎ Ｓｙｓｔｅｍｓ（ＡＳＰＬＯＳ ２０００）， Ｎｏｖｅｍｂｅｒ ２０００
