分布式系统中中间数据的复制技术的研究与优化

123456aa · 发表于 2022-4-13 08:20:44

题目：

雅宝题库答案：

****此区域为收费内容**** 需支付 1 知识币后可查看，1币=0.01元查看答案

雅宝题库解析：
随着云计算的迅速发展和应用，分布式系统得到日益广泛的应用。但随着分布式系统的节点规模越来越大，存在节点失效已成为常态。而节点失效造成保存在该节点的中间数据丢失，进而导致计算执行时需要的数据缺失而重新执行上一步或上几步计算来生成丢失的数据，造成大量的额外开销和任务时间的增加。如何复制节点的中间数据和优化复制技术的性能是应对节点失效并提升整个分布式系统计算性能的关键。针对上述题目，本文基于开源平台HADOOP和虚拟机KVM，研究如何优化中间数据的复制技术和虚拟机网络性能，实现在节点失效的情况下，作业完成时间减少。本文的主要工作与贡献如下：1. 针对目前分布式系统复制策略效率较低和高干扰等题目，通过改变复制策略，实现异步复制和并行写入，并实现新的存储备份的存放策略，以实现低干扰。2. 针对复制过程中复制开销较大的题目，通过定义开销的标准，统计计算过程复制开销和执行开销并进行计算以确定是否复制，减少复制开销。3. 针对复制过程中，采用虚拟机模拟大规模集群环境，复制对虚拟机网络性能影响的题目，提出并实现半轮询的数据处理方式，提高数据处理的效率，增加虚拟机网络I/O性能，进而提高复制的效率。最后，对本文所提出的方法和优化后的系统进行功能验证和性能测试，最终证明优化后的系统中在节点失效的情况下，作业完成时间降低11%。并通过提高虚拟机网络的I/O性能，使得复制效率提高，任务完成时间降低，优化效果得到体现，达到了预期的研究目标。

分布式系统中中间数据的复制技术的研究与优化

天涯海角也要找到Ni：分布式系统中中间数据的复制技术的研究与优化

相关帖子

QQ微信同步：1144766066。

服务

网站

战略合作