多连接查询优化论文-赵宇兰

多连接查询优化论文-赵宇兰

导读:本文包含了多连接查询优化论文开题报告文献综述及选题提纲参考文献,主要关键词:多连接查询,遗传算法,退火遗传算法

多连接查询优化论文文献综述

赵宇兰[1](2018)在《基于退火遗传算法的多连接查询优化应用研究》一文中研究指出阐述了引入模拟退火机制的遗传算法求解数据库多连接查询优化问题的设计过程。给出了基于左深树策略空间的染色体编码方案,采用自适应交叉、变异概率的方法对个体适应度函数值进行优化调整,解决了固定遗传算子生成新个体方面的不足,提升了算法的收敛效率。仿真实验结果表明,应用组合退火遗传算法对数据库多连接查询优化可获得满意的优化效果。(本文来源于《山西电子技术》期刊2018年06期)

茅潇潇[2](2018)在《分布式数据库并行连接查询的实现及优化》一文中研究指出在信息化时代,随着数据规模和用户规模的不断扩大,传统的集中式数据库已经难以满足互联网应用的需求。基于水平扩展的分布式数据库系统能够突破集中式数据库单节点的性能瓶颈问题,以其良好的存储能力和计算能力受到了学术界和工业界的关注。但是与此同时,分布式架构的特点使得分布式数据库中的连接查询操作更为复杂和具有挑战性。本文利用并行查询处理技术,实现并优化了分布式数据库中的并行连接查询,主要贡献包括以下叁点:1.本文详细分析了传统将数据集中在一个节点进行连接查询处理的执行流程,从集中式处理节点的性能瓶颈问题、内存资源消耗、阻塞算子特点和网络传输代价等方面总结了影响连接查询响应时间的因素,并在此基础上归纳并明确了分布式数据库中提高连接查询效率的思路。2.对于大规模数据的连接查询,本文基于Ocean Base设计并实现了一套并行连接查询执行框架。该框架通过同时由多个计算节点并行执行连接查询任务和基于流水线式数据传输的并行哈希连接算法,将独立并行、水平并行与流水线并行结合,减少了连接查询的响应时间,并采用可靠的容错与重试策略提高了并行连接查询执行流程的可用性。在此基础上,本文提出了数据预读取、数据预探测和设计高效缓冲区等多项优化技术进一步加快了连接操作的并行执行效率,减弱了并发场景下的短板效应,提高了系统整体的资源利用率。3.在并行连接查询执行过程中,本文提出并设计了基于布隆过滤器的数据传输优化策略。在哈希连接中引入了布隆过滤器选择算子及动态数据传输算子,通过构造布隆过滤器过滤掉右表中无需参与连接的数据,以少量的计算代价节省了大量的跨节点网络传输开销,降低了连接操作的查询时延。综上所述,本文基于分布式数据库提出了一个高效的并行连接查询解决方案,并进一步给出了若干优化策略,提升了分布式环境下的连接查询执行效率,最后通过一系列实验证明了该方案的可行性与高效性。同时,本文提出的并行连接查询执行框架也为其他分布式数据库中的连接查询优化提供了思路和参考,具有一定的借鉴意义。(本文来源于《华东师范大学》期刊2018-05-01)

叶世武[3](2018)在《分布式事务分类与数据连接查询优化的智能算法研究》一文中研究指出信息技术的快速发展和广泛应用,各类信息系统采集、存储和处理的数据量呈爆炸性增长,对服务器的数据存储、搜索和管理能力要求越来越高。分布式数据库系统具有高并发、高可用和易扩展的优点,得到高度关注和系统性研究,其相关技术已经应用于很多大型信息系统。分布式数据库系统设计和查询处理是分布式数据库系统的关键技术,本文针对分布式事务分类优化问题和数据连接查询优化问题,以提高分布式数据库系统的响应效率为目标,对现有技术展开研究并加以改进。在构建分布式事务分类模型时,分析了基于凝聚型层次聚类算法的事务分类策略的机理及其缺陷,提出了引入事务执行频次比例的概念,然后在凝聚型层次聚类算法中结合蚁群优化算法转移概率的思想,通过转移概率随机选择下一个聚类对象,并以此解决凝聚型层次聚类算法不能回退的问题。按照事务分类优化结果将数据片段部署到执行该事务的站点后,在构建多连接查询代价模型时,考虑到带宽较低的网络环境,利用半连接算法减少数据服务器节点间数据传输产生的通信代价。然后通过与其他优化算法的比较,在将遗传算法应用到分布式数据库系统多连接查询优化的过程中对遗传编码、种群初始化、选择、交叉和变异等操作分别进行优化。实验结果表明,改进后的算法降低了分布式数据库系统不同场地间事务的关联度,并且减少了查询所需时间,提高了系统的响应效率。(本文来源于《华南理工大学》期刊2018-04-23)

杨钊,蓝贵文,陈骐,吴聪聪,张强[4](2017)在《基于积极算法的WFS空间连接查询优化研究》一文中研究指出在用户与数据集的交互利用中,网络要素服务(Web Feature Service,WFS)被视为一种空间数据互操作的有效方法.由于海量空间数据集数据具有复杂的空间数据结构,在进行空间连接查询操作过程中容易产生高昂的执行代价.鉴于此,提出一种积极算法,该算法利用四叉树和直方图法的优点,并结合过滤率估算算法对空间连接查询处理过程进行优化.通过实验结果表明,积极算法在大多数情况下具有一定的可行性,为空间连接查询处理提供了一种有效的优化方法.(本文来源于《小型微型计算机系统》期刊2017年07期)

徐晶,刘梦赤[5](2017)在《基于信息网模型的分布并行多连接查询优化》一文中研究指出在分布式集群系统中,数据根据划分算法存储在集群的各个节点,这为涉及大量连接操作的复杂查询带来了昂贵的网络开销。针对该问题,基于信息网模型INM(Information Network Mode),提出最小通信量查询划分算法和多目标查询优化算法。其中查询划分算法将复杂查询划分成多个PWOC(parallelizable without communication)子查询,所有子查询可近似无通信地并行执行。多目标优化算法将子查询作为查询计划的基本操作,并将并行性和通信代价同时作为驱动目标,以传统多目标加权算法结合贪心策略作为评估依据生成查询计划树。最后,系统基于TPC-H基准生成测试数据,将原始算法与优化算法进行了对比实验,结果表明优化算法可以极大提高复杂查询的效率。(本文来源于《计算机应用与软件》期刊2017年07期)

袁月[6](2017)在《基于改进鱼群算法的分布式数据库多连接查询优化的研究》一文中研究指出在分布式数据库应用越来越广泛的今天,其多连接查询优化依然是一个亟待解决的问题。分布式数据库规模的急速增长使得多连接查询优化问题对数据查询效率的影响程度愈加深刻,然而多连接查询优化问题的解决已经不能只单纯的依靠于传统的优化技术。关系数的增加造成了分布式数据库多连接优化搜索空间复杂度的大大增加,极大的影响了搜索最优执行计划的效率,从而阻碍了对多连接查询的进一步优化。针对这一问题,本文提出一种基于策略选择的改进鱼群算法来解决进一步优化分布式数据库多连接查询的问题。首先,采用关系的连接集对查询策略进行选择,对搜索空间进行缩减,降低搜索空间的复杂度;其次,针对分布式数据库多连接查询的特点,对缩减后的搜索空间中的连接树进行编码,形成一一对应的编码树。同时,为了方便计算人工鱼个体的适应度函数值,我们为编码树的每一个叶结点附一个值,用以记录各关系的详细信息。然后,利用人工鱼群算法对初始状态不敏感、极易快速收敛、察觉且跳出局部极值能力强等优势,将其应用到后续的查询优化中。同时,本文对鱼群算法中随机移动的盲目性及后期收敛速度慢、结果精准度较低等不足进行改进,以期快速搜索到高质量的全局最优执行计划。最后,结合第一阶段的策略选择和第二阶段的改进鱼群算法,形成最终的优化策略。分别在不同关系数下对优化策略进行四个方面的仿真实验,1验证鱼群算法应用于本文优化问题的最佳参数取值,2验证策略选择算法和改进鱼群算法的有效性,3针对其他随机性算法,与本文优化策略进行比较,4验证改进鱼群算法的收敛性。实验结果表明,1使用策略选择算法时的寻优效率要好于未使用策略选择时的寻优效率;基于改进鱼群算法的优化策略的寻优效率要优于基于原鱼群算法的优化策略;2本文所提优化策略搜索最优执行计划的效率高于其他被比较的算法,3对改进鱼群算法收敛性的验证结果表明,本文优化策略搜索出的最优执行计划是高质量的计划,可以有效减少执行阶段的时间,使得查询总的执行时间最短。(本文来源于《安徽理工大学》期刊2017-06-06)

肖晟晨[7](2017)在《基于MapReduce大数据表连接查询处理算法优化与设计》一文中研究指出近几年,互联网的普及带来了数据量增长,大数据的概念越来越被人们所接受。大数据所具有的潜力受到个各行各业肯定,研究相关的分析处理技术越来越受到重视。谷歌推出的GFS和MapReduce两个技术,由于其高可用性,使得该框架成为了最热门的大数据处理手段。Hadoop是谷歌技术的开源实现,在开源项目里也是最热门的项目之一。MapReduce编程框架是分布式计算框架,它在保证了高效的并行协调机制和高容错性的同时,向用户提供了一个相对简单编程过程。查询是数据处理的基本操作,而连接在查询操作中使用频率是最高的,因此数据表的连接操作的改良对MapReduce框架性能的提升有着重要的意义。然而由于此并行编程框架的计算特性,使其在处理连接操作时有诸多局限性,在多表连接的情况下效率更是低下。在本文中提出了一个利用共享信息减少中间数据的网络传输的两表连接算法,在此基础上提出了利用流水线模型提高多任务的并发性,来优化由多个两表连接的构成的多表连接。首先针对传统两表连接,在网络传输过程中冗余数据过多的缺陷,提出了一个基于连接键信息共享的两表连接算法。该算法的思路是在传统连接算法基础上,加入利用“背景”数据过滤冗余数据的步骤。利用Bit-Map算法对其中一个表的连接键信息进行压缩,制成用于共享的“背景”信息,利用分布式缓存机制进行共享。之后再进行两表连接时,在Map函数中通过共享信息将另一个表中无法连接的元组进行剔除,从而减少了在网络中传输中间结果的数据量,提高了传输效率缩短了响应时间其次由于传统多表连接算法只能顺序执行连接任务,从而导致任务等待时间过长,造成了系统资源浪费。针对这一问题,本文引入流水线模型来优化算法,使其能够并行执行连接任务,进一步的优化了多表连接算法。通过利用任务调度器,协调多个任务并发,合理的利用不同表之间利用Map机群和Reudce机群运行时间上的空档,提前执行MapReduce任务,增强了系统的并行性,与此同时,为了进一步提高连接效率,对连接顺序的选取策略进行了研究,以期充分发挥基于共享信息的流水线模型优化算法的优势,通过调整多表之间的连接顺序,达到减少中间结果的目的。在文章最后,为了验证算法的有效性,搭建了Hadoop平台,在算法的响应时间上,与原框架下的算法进行了对比。(本文来源于《北京工业大学》期刊2017-05-01)

王雷[8](2017)在《面向分布式数据库的连接查询优化》一文中研究指出互联网环境下,随着数据规模的不断增大,查询请求的高并发,使得数据库系统的存储与计算的横向扩展能力显得非常重要。基于分布式存储的数据库,以其良好的可扩展性受到了工业界与学术界的广泛关注,本文在分布式存储架构下对连接查询进行研究,总结影响连接查询效率的叁大因素:数据的本地提取、数据的网络传输以及连接算法的执行效率。针对这叁个因素,在分布式存储架构的基础上,提出了分布式数据库连接查询优化框架,有效地降低了查询响应时间,提升了用户体验。本文工作的主要贡献如下:1.提出了一个有效的分布式数据库连接查询优化框架。在分布式存储的系统架构下,针对影响连接查询效率的主要因素,提出了分布式数据库连接查询优化框架,从并行度、连接算子以及半连接操作叁方面对连接查询进行优化,并在开源分布式数据库OceanBase上实现了连接查询优化的框架。2.在开源分布式数据库OceanBase上,设计并实现了并行的嵌套循环连接、哈希连接以及半连接操作。一方面对数据进行并行的请求与处理,加快数据的本地提取,使用半连接操作有效地减少了数据的网络传输;另一方面使连接算子能够充分利用系统的计算资源,采用并行计算技术快速响应连接操作,显着地提高了连接效率。3.通过大量实验,验证了分布式连接查询优化框架的可行性与效率。利用开源数据库性能评测工具Sysbench,开展了充足的实验,实验结果表明:本文提出的连接查询优化框架能有效的降低响应时间,提升查询效率。本文提出的分布式连接查询优化框架在分布式数据库OceanBase上的测试结果表明:从并行度、连接算子以及半连接操作叁方面出发对连接查询进行优化,可以有效地减少连接查询的响应时间,并且提升连接查询效率。同时,本文提出的分布式连接查询优化框架对其他基于分布式存储的数据库有一定的借鉴意义,也为将来的连接查询优化工作提供了参考。(本文来源于《华东师范大学》期刊2017-04-09)

周虹,富春岩,支援,刘越,于占龙[9](2016)在《基于硬件预处理的数据流并发连接查询优化算法》一文中研究指出目前在金融、移动数据、网络监控及物联网等领域中,经常会需要处理一些海量的、实时的、需要快速响应的数据流。为了对这些数据流进行有效的管理,提出了基于硬件预处理的数据流管理系统,并对相应的数据流并发连接算法进行了优化,以得到数据流预处理器所需的控制信息。(本文来源于《电脑知识与技术》期刊2016年33期)

张兰勇,耿文杰,刘胜[10](2016)在《基于蚁群算法的多连接查询优化问题研究》一文中研究指出介绍了蚁群算法在数据库查询中的应用,在给出蚁群算法的基本原理和程序流程的基础上,对传统蚁群算法进行了改进,将伪随机状态转移规则和局部信息素更新规则引入蚁群算法,提出了基于蚁群系统解决数据库多连接查询优化的方法,建立了多连接查询优化问题的数学模型,并进行了相关的实验;结果表明:当数据库的表数目较多时,基于蚁群系统算法对解决多连接查询优化问题有良好的求解性能,在求最优解品质和求最优解时间上都有较好的效果。(本文来源于《兵器装备工程学报》期刊2016年10期)

多连接查询优化论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

在信息化时代,随着数据规模和用户规模的不断扩大,传统的集中式数据库已经难以满足互联网应用的需求。基于水平扩展的分布式数据库系统能够突破集中式数据库单节点的性能瓶颈问题,以其良好的存储能力和计算能力受到了学术界和工业界的关注。但是与此同时,分布式架构的特点使得分布式数据库中的连接查询操作更为复杂和具有挑战性。本文利用并行查询处理技术,实现并优化了分布式数据库中的并行连接查询,主要贡献包括以下叁点:1.本文详细分析了传统将数据集中在一个节点进行连接查询处理的执行流程,从集中式处理节点的性能瓶颈问题、内存资源消耗、阻塞算子特点和网络传输代价等方面总结了影响连接查询响应时间的因素,并在此基础上归纳并明确了分布式数据库中提高连接查询效率的思路。2.对于大规模数据的连接查询,本文基于Ocean Base设计并实现了一套并行连接查询执行框架。该框架通过同时由多个计算节点并行执行连接查询任务和基于流水线式数据传输的并行哈希连接算法,将独立并行、水平并行与流水线并行结合,减少了连接查询的响应时间,并采用可靠的容错与重试策略提高了并行连接查询执行流程的可用性。在此基础上,本文提出了数据预读取、数据预探测和设计高效缓冲区等多项优化技术进一步加快了连接操作的并行执行效率,减弱了并发场景下的短板效应,提高了系统整体的资源利用率。3.在并行连接查询执行过程中,本文提出并设计了基于布隆过滤器的数据传输优化策略。在哈希连接中引入了布隆过滤器选择算子及动态数据传输算子,通过构造布隆过滤器过滤掉右表中无需参与连接的数据,以少量的计算代价节省了大量的跨节点网络传输开销,降低了连接操作的查询时延。综上所述,本文基于分布式数据库提出了一个高效的并行连接查询解决方案,并进一步给出了若干优化策略,提升了分布式环境下的连接查询执行效率,最后通过一系列实验证明了该方案的可行性与高效性。同时,本文提出的并行连接查询执行框架也为其他分布式数据库中的连接查询优化提供了思路和参考,具有一定的借鉴意义。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

多连接查询优化论文参考文献

[1].赵宇兰.基于退火遗传算法的多连接查询优化应用研究[J].山西电子技术.2018

[2].茅潇潇.分布式数据库并行连接查询的实现及优化[D].华东师范大学.2018

[3].叶世武.分布式事务分类与数据连接查询优化的智能算法研究[D].华南理工大学.2018

[4].杨钊,蓝贵文,陈骐,吴聪聪,张强.基于积极算法的WFS空间连接查询优化研究[J].小型微型计算机系统.2017

[5].徐晶,刘梦赤.基于信息网模型的分布并行多连接查询优化[J].计算机应用与软件.2017

[6].袁月.基于改进鱼群算法的分布式数据库多连接查询优化的研究[D].安徽理工大学.2017

[7].肖晟晨.基于MapReduce大数据表连接查询处理算法优化与设计[D].北京工业大学.2017

[8].王雷.面向分布式数据库的连接查询优化[D].华东师范大学.2017

[9].周虹,富春岩,支援,刘越,于占龙.基于硬件预处理的数据流并发连接查询优化算法[J].电脑知识与技术.2016

[10].张兰勇,耿文杰,刘胜.基于蚁群算法的多连接查询优化问题研究[J].兵器装备工程学报.2016

标签:;  ;  ;  

多连接查询优化论文-赵宇兰
下载Doc文档

猜你喜欢