导读:本文包含了可扩展数据库论文开题报告文献综述及选题提纲参考文献，主要关键词:数据库管理系统,事务处理,事务日志,日志复制
可扩展数据库论文文献综述
周欢[1]（2019）在《支持可扩展事务处理的数据库日志技术》一文中研究指出从上世纪七十年代以来,关系型数据库管理系统被广泛地运用于金融、交通、通讯等领域来高效地组织和管理数据。为了保证当出现软件和硬件故障时数据不会丢失,数据库系统实现了基于数据库日志的事务处理技术。数据库日志是一个存储所有事务执行结果的顺序文件,它由多条拥有全序关系的日志记录组成。为了保证数据库系统的可靠性和可用性,大多数传统数据库系统采用ARIES事务日志技术串行地将日志记录写入一个集中式日志缓冲区,然后再将日志缓冲区中的内容一起追加到存储在磁盘的日志中,最后使用日志复制技术将数据库日志通过以太网传输到远端的数据库系统副本。在多核CPU和大容量内存的双重推动下,数据库系统实现了可扩展、高性能的事务处理技术来满足互联网企业的应用需求。然而,传统数据库日志技术的集中式设计、串行执行方式、顺序性约束以及磁盘网络IO操作限制了系统事务处理的性能。为此,本文实现了新型的事务日志技术和日志复制技术来满足事务处理系统可扩展、高性能、高通量的需求。本文的主要贡献总结如下:1.针对传统事务日志技术的集中式日志缓冲区竞争和固定组提交问题,本文提出了一种可扩展、自适应的集中式事务日志技术Laser。该技术实现了一种基于原子指令的日志号分配方法和一种并行的日志填充方法,从而提高了系统的可扩展性。结合动态变化负载,该技术首先利用生产者/消费者模型分析了负载变化对事务性能的影响,然后提出了一种负载自适应的组提交协议。此外,本文基于开源的分布式数据库系统CEDAR实现了可扩展、自适应的事务日志技术,并验证了该技术的可扩展性和高效性。2.针对传统事务日志技术的有限磁盘带宽问题,本文提出了一种面向可扩展存储的并行事务日志技术。该技术使用多个日志缓冲区和多块磁盘来代替传统的集中式设计。事务根据负载感知的日志分区策略将日志记录均匀地分布到多块磁盘。这种日志分区策略避免了负载倾斜和跨分区事务对系统性能的影响。为了保证系统的正确性和可恢复性,该技术实现了一种偏序的日志号(GSN)和一种持久化的组提交协议。此外,本文结合并行事务日志技术、乐观多版本并发控制协议以及并行恢复方法,实现了一个内存事务处理原型系统(Plover),并在该系统上验证了事务日志技术的并行性和可扩展性。3.针对传统事务日志技术的顺序性约束问题,本文提出了一种支持系统可恢复性的偏序事务日志技术(Poplar)。该技术首先明确了事务日志技术在保证系统正确性和可恢复性的基础上需要具备的必要约束条件,然后给出了事务日志可恢复性的定义并验证了该定义的正确性。最后,基于可恢复性定义,该技术实现了一种可扩展的偏序日志号(SSN)和一种快速的事务提交协议。此外,本文基于开源的内存数据库原型系统DBx1000实现了支持系统可恢复性的偏序事务日志技术,并验证了该技术的并行性和高效性。4.针对传统日志复制技术的有限网络带宽问题,本文提出了一种面向主备复制系统的自适应日志复制技术。该技术根据实时的应用负载选择传输日志记录或者传输数据增量给远端的系统副本。在处理高负载时,增量传输方法能够有效地减少网络传输量,从而避免网络成为系统的性能瓶颈。此外,本文结合并行事务日志技术和自适应日志复制技术,实现了一个高性能的主备复制内存数据库原型系统。为了保证系统主备副本之间的数据一致性,该技术实现了一种基于段的日志记录、数据增量合并算法和一种基于段的并行回放方法。最后,本文在复制系统上验证了自适应日志复制技术的有效性。综上所述,事务日志技术和日志复制技术是保证数据库系统可靠性和可用性的重要手段。然而,在多核CPU和大容量内存硬件平台下,随着可扩展内存事务处理技术的不断发展,传统数据库日志技术成为了限制系统性能的主要瓶颈。本文发现传统数据库日志技术主要存在以下四个性能瓶颈:(1)集中式日志缓冲区竞争和固定组提交;(2)有限磁盘带宽;(3)事务日志的顺序性约束;(4)有限的网络带宽。为了解决这些瓶颈,本文分别展开了四项研究并提出了可扩展、自适应的集中式事务日志技术,面向可扩展存储的并行事务日志技术,支持系统可恢复性的偏序事务日志技术和面向主备复制系统的自适应日志复制技术。最后实验结果表明,这些新型的数据库日志技术实现了可扩展、高通量、低时延的事务处理性能。(本文来源于《华东师范大学》期刊2019-05-01）
黄建伟[2]（2019）在《可扩展数据库系统数据完整性约束的实现与优化》一文中研究指出随着大数据和互联网技术的快速发展,传统的集中式数据库系统已经很难满足新业务对于海量数据存储和大量高并发负载的处理需求。于是,可扩展的数据库系统逐渐成为了数据库领域最为炙手可热的研究课题,市场上也相继出现了一批新架构的New SQL数据库系统,它们不仅具有强大的数据存储和事务处理的能力,还拥有良好的可用性和可扩展性。在关系型数据库系统中,通常用四类数据完整性约束来保证其数据的准确性和有效性,其中实体完整性和参照完整性约束是最重要也是最难实现的两类完整性约束。对于传统的集中式数据库系统来说,实体完整性和参照完整性约束都已经是成熟的、必不可少的基本功能。但是,对于新型的可扩展数据库系统来说,特别是那些基于日志结构合并树存储架构的New SQL数据库系统,这些完整性约束功能的实现还不够完备且充满挑战。因此,本文以数据库系统中的数据完整性约束问题为出发点,深入研究了如何在可扩展数据库系统中实现实体完整性和参照完整性这两类最主要的完整性约束。此外,针对可扩展数据库系统读写分离的架构特点和具体的应用场景,本文还探索了多种优化技术来最大化这两类完整性约束事务的执行性能。本文的主要贡献可以概括为以下几点:1.针对实体完整性和参照完整性约束相关功能的事务特点,总结了一类具有普遍意义的隐式长事务操作,并进一步给出了这些隐式长事务操作在可扩展数据库系统中的详细实现算法。2.提出了轻量级的主键生成管理器、自适应的批处理以及分布式并行处理等一系列优化技术,保证了在分布式、高并发以及大数据场景下,这些维护数据库系统实体完整性和参照完整性约束的事务操作依然能够拥有良好的性能。3.在开源的可扩展数据库系统CEDAR中集成了上述实体和参照完整性约束的实现方案和优化技术,并且通过大量的实验进一步证明了这些方法的正确性和高效性。综上所述,本文研究了如何在可扩展数据库系统中实现和优化数据的完整性约束。首先,针对可扩展数据库系统的架构特点,给出了一套完整的实体和参照完整性约束实现方案;其次,探索了一系列的优化技术,提升了事务在分布式和高并发环境下的执行效率;最后,通过大量的实验证明了该方案的正确性和高效性。(本文来源于《华东师范大学》期刊2019-05-01）
王建永,林俊,黄杰韬,方宽[3]（2019）在《达梦数据库中大规模数据可扩展并行算法》一文中研究指出达梦(DM)数据库中的数据规模大且维度复杂,为了在有限的条件下尽可能满足用户对DM数据库功能的需求,提出一种新的DM数据库中大规模数据可扩展并行算法。不可扩展并行算法包括朴素并行、典型并行与逻辑并行叁种处理规则,新算法将这叁种处理规则结合起来实现数据自主运算,令每个运算节点均拥有叁种处理模式,采用有向图将大规模数据划分为局部数据,并分配到处理器上,通过设置数据处理优先等级,完成流水线形式的数据处理过程,赋予并行算法强大的可扩展性。实验结果表明,新算法具有较强的可扩展性,负债均衡能力强。(本文来源于《科学技术与工程》期刊2019年07期）
肖冰[4]（2018）在《可扩展数据库中快照隔离级别的实现与优化》一文中研究指出随着互联网的繁荣发展和数据密集型应用的广泛使用,越来越多的互联网应用采用可扩展数据库来处理日益增长的数据存储和数据访问。由于增量数据与基线数据分离的特性可以同时发挥磁盘的大规模存储以及内存的高性能存取等优势,日志结构合并树的思想已被广泛应用于分布式存储系统当中,如BigTable,HBase。然而,由于该类存储系统通常不提供事务特性,无法直接应用于金融和电信等关键应用中。谷歌的Spanner在BigTable的基础上通过分布式并发控制实现了事务的ACID特性。但由于系统的性能受制于数据分区,Spanner对上层应用有着极高的要求。随着内存价格的不断下降和单处理器中处理单元的不断增加,采用一个独立的物理服务器节点来处理增量数据从而避免分布式事务已成为一种选择,如OceanBase,CEDAR。然而,该类系统的架构特性决定了其无法高效地处理事务的读取操作。首先,为了保证事务的正确性,每一个事务读取均需要访问基线数据和增量数据,这将增加事务的处理时间,从而增加事务冲突的可能性;其次,由于每次事务读取均需要访问增量数据,单事务处理节点的网络带宽可能成为系统瓶颈。针对上述两个方面的问题,首先,为了发挥该架构下增量数据多版本存储的优势,本文采用了快照隔离级别来保证事务的正确性,使得读写互不阻塞,进而提升读写的并发性能。其次,针对读密集型应用,本文提出了一个更加高效的数据访问方法,采用布隆过滤器维护增量数据,在事务处理节点的数据访问流程中对无法获取到增量数据的空读请求提前进行过滤,进而降低单点过载造成的读取延迟,提升整体吞吐性能。本文工作的主要贡献如下:1.给出了在基于日志结构合并树架构的可扩展数据库系统中实现快照隔离级别的方法,分析了定期合并流程中快照隔离需要面对的问题并提出解决方案。同时给出如何在保证快照隔离正确性的基础上,有效地进行副本管理和故障恢复的策略。2.分析了该架构下事务处理节点的数据读取流程,总结该节点处理读请求时网络I/O线程和工作线程的工作机制,并结合大多数应用场景下的数据分布情况,对原有工作机制提出改进方法,使用布隆过滤器优化空读的处理,使得空读请求可直接在网络I/O线程返回,而不必排队等待工作线程处理,进而提升系统整体的快照读取性能。3.在开源系统CEDAR中实现上述快照隔离级别和快照读取优化方法,并通过大量实验验证快照隔离级别的服务性能,同时验证基于空读过滤的快照读取优化方法对系统读取的性能提升。实验表明,本文提出的快照隔离级别实现方法和快照读取优化方法能够保证系统对读密集型服务提供接近理想状态下的可扩展性能和较高的可用性,这对基于日志结构合并树架构的可扩展数据库系统提供高性能事务级数据访问是一次积极的尝试,具有一定的借鉴意义。(本文来源于《华东师范大学》期刊2018-05-01）
徐鹏,顾渊博,高凯,刘君华,许侃[5]（2017）在《基于目标扩展数据库的局放光学信号图降噪方法》一文中研究指出通过目标外部图像数据库对图像进行去噪,将去噪作为最佳滤波器设计问题来制定。利用目标数据库进行如下研究:(1)通过组稀疏度确定最优滤波器的基函数;(2)通过局部先验确定最优滤波器的频谱系数。利用该算法对局部放电光学信号图进行处理可以有效实现降噪,且去噪结果优于现有算法,具有很强的实用性。(本文来源于《2017智能电网发展研讨会论文集》期刊2017-07-25）
钱招明[6]（2017）在《可扩展数据库管理系统中的数据复制》一文中研究指出随着互联网的不断发展,数据规模不断增大,数据库系统的存储与计算的横向扩展能力将会越来越重要。因此,分布式数据库系统以其良好的扩展性受到了工业界和学术界的广泛关注。其中,基于日志结构存储(Log-StructuredStorage)的分布式系统成为了一种新的趋势,这种读写分离的架构已应用于分布式数据库系统中,如阿里巴巴的开源关系型数据库管理系统OceanBase。数据导出是数据复制常见的技术之一,常用于企业级应用,来提高系统的可用性、可扩展性,以及保证数据的可靠性。在采用读写分离架构的分布式数据库系统中,由于数据分为静态数据和动态数据,并且静态数据存储于不同的物理节点上,数据复制成为了一种既消耗时间,也浪费系统资源的一种操作。本文主要分析了在读写分离的分布式数据库架构下,数据复制存在的问题,并提出了有效的解决方法。本文工作的主要贡献如下:1.设计并实现了一种考虑负载均衡的静态数据导出方法。首先,针对分布式数据库的架构特点,直接向不同物理节点发起并发查询请求,减少数据的网络传输次数,缩短响应时间。其次,采用生产者消费者模型加快数据写磁盘速度并解决占用大量内存的问题。最后,根据数据多副本的特点,将查询请求均匀的发送给各个节点,使系统中的各个节点负载均衡,同时也能提高整体数据导出的性能。2.设计并实现了一种基于日志解析的动态数据捕获方法。一方面,实现日志同步和日志拉取功能,保证数据的正确性。另一方面,在日志解析过程中精简对同一元组的频繁操作,避免冗余操作,降低应用更新的代价。3.通过基准测试YCSB生成测试数据集并设计多组实验,验证了本文提出的数据导出方法的可行性与高效性。并在开源数据库CEDAR上实现了本文提出的数据导出方法。实验结果展示了本文提出的数据导出方法能有效的降低响应时间,减少系统资源占用。本文提出的数据复制方法在CEDAR中的测试结果表明,该方法极大地提升了数据导出的效率。同时,本文提出的方法对同类型的可扩展数据库管理系统的数据复制有借鉴意义,也为可扩展数据库管理系统后续的数据复制技术提供了参考。(本文来源于《华东师范大学》期刊2017-04-10）
武霖,赵贤[7]（2016）在《新媒体监管业务数据库表的可扩展设计及实现》一文中研究指出新媒体机房业务数据存档工作有着数据量大、任务种类繁多、数据结构调整频繁的特点,因此业务系统的设计必须有着良好的通用性和扩展性,以适应这些特点。基于此,提出了一种解决方案,能够对不同形式的表格进行统一处理,减少代码冗余及系统维护难度。(本文来源于《中国有线电视》期刊2016年03期）
李雨[8]（2015）在《概率数据库可扩展查询技术》一文中研究指出随着信息化进程的推进,在信息检索、模糊物体匹配、数据集成、传感器网络、社交网络等应用领域存在着大量的不确定数据。然而传统的关系数据库只能处理确定的数据,对于概率数据的查询处理显得力不从心。因此,如何高效地实现概率数据查询处理的问题成为现阶段数据库系统一个崭新的问题,这促进了概率数据库理论与技术的研究。近年来,概率数据库领域的热点问题一直集中在概率数据库的数据表示模型以及高效查询算法上。BIDL(Block Indenpent Disjiont with Lineage)模型在BID(Block Indenpent Disjiont)模型的基础上加入世系信息lineage。世系信息不仅可以记录数据的来源,而且可以方便用户提供反馈信息。概率数据库的基础查询算法总体上分为两类,即基于语义(intensional)的查询算法和基于扩展(extensional)的查询算法。前者可以保证结果的准确性,但是计算复杂度很高。然而,基于扩展的查询算法查询速度相对较快,但是不能保证查询结果的准确性。ST(Split Tuple)算法首先基于世系信息lineage进行概率推理,并深入分析元组间的关系,其次通过拆分相应的元组,从而使元组间的关系进一步清晰和易处理,然后采取有效的概率计算策略以及高效的概率计算算法执行查询,最后将查询结果以及对应的概率值返回给用户。基于世系信息的概率推理具有一定的可扩展性。高级查询算法包括Top-k、Skyline、K近邻(K Nearest Neighbors)、轨迹查询、阀值轮廓查询、join查询等。其中,K近邻查询在气象预报、传感器网络等时空数据库中发挥着重要作用。PKNN(Probabilistic K Nearest Neighbors)算法利用数据满足的一些性质在计算过程中记录中间结果来加快计算速度,实验结果表明,此算法具有一定的可扩展性,一定程度上提高了概率查询效率。(本文来源于《华中科技大学》期刊2015-05-01）
杨春炜,李丰,孙淮[9]（2014）在《WebFF-开放、可扩展、智能化的网络力场数据库平台》一文中研究指出力场对于分子模拟起着根本性的作用,一个好的力场必须包含大量的参数,有广泛的适用性和准确性。但是由于化学结构的巨大多样性,没有一个通用力场(AMBER,CHARMM,COMPASS等等)可以是完整并且准确的,缺失力场参数是分子模拟中一个常见的问题。另一方面,世界各地的研究人员开发了许多不同类型、不同适用范围的力场,散布在文献中。如果能够有效地利用这一资源,就有可能彻底解决力场参数缺失的问题。为此我们开发了一个基于互联网的、适用于有机分子和高分子(软材料)的力场数据库平台(WebFF)。该平台包含叁个主要功能:(1)提供开放的力场参数使用和下载功能。使用者可以选择一个或若干个力场,根据使用者提供的分子结构信息,软件自动搜索并组合适当的力场,输出参数;也可根据用户需要,制备成可用于常用软件(LAMMPS和GROMACS)的力场参数文件;(2)提供开放的上传力场的功能。力场开发者可以通过这一平台发布新的力场。除了参数以外,开发者需提供原子类型的定义,验证参数的数据,力场的适用范围等关键信息;软件根据用户输入,自动验证数据的完整性和一致性;达到更好更容易共享参数的目的(3)提供一个网络用户界面,使用者可以容易地搜索、查看和管理数据库的力场及其相关信息。(本文来源于《中国化学会第29届学术年会摘要集——第19分会：化学信息学与化学计量学》期刊2014-08-04）
钱敏,彭立,傅春霞[10]（2013）在《核电仪控高速可扩展的数据库软件设计与实现》一文中研究指出本文论述北京广利核系统工程有限公司自主研发的核电专用仪控数据库软件。这款核电专用仪控数据库软件在高速和可扩展两方面做了很好的设计和实现,包括如下几方面:(1)通过数据字典、索引表,实现数据库的高速读取和写入。(2)通过点项订阅及缓存机制,可以从数据库软件周期高速读取数据。假如普通数据库的10万点项读所需时间为n ms,通过订阅缓存方式读取只需时间1/n ms。(3)通过点项映射表,实现核电站数据的高速采集。(4)用户可以自定义数据库点类型及点项属性,使数据库具有很好的扩展性。(5)点项触发事件可配置。最后本文介绍了核电专用仪控数据库软件在红沿河核电站、岭澳核电站KDO/KME系统的实际应用。本文对于国产核电专用仪控数据库软件研发具有非常重要的现实意义。(本文来源于《中国核科学技术进展报告（第叁卷）——中国核学会2013年学术年会论文集第9册（核医学分卷、核技术工业应用分卷）》期刊2013-09-11）
可扩展数据库论文开题报告
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
随着大数据和互联网技术的快速发展,传统的集中式数据库系统已经很难满足新业务对于海量数据存储和大量高并发负载的处理需求。于是,可扩展的数据库系统逐渐成为了数据库领域最为炙手可热的研究课题,市场上也相继出现了一批新架构的New SQL数据库系统,它们不仅具有强大的数据存储和事务处理的能力,还拥有良好的可用性和可扩展性。在关系型数据库系统中,通常用四类数据完整性约束来保证其数据的准确性和有效性,其中实体完整性和参照完整性约束是最重要也是最难实现的两类完整性约束。对于传统的集中式数据库系统来说,实体完整性和参照完整性约束都已经是成熟的、必不可少的基本功能。但是,对于新型的可扩展数据库系统来说,特别是那些基于日志结构合并树存储架构的New SQL数据库系统,这些完整性约束功能的实现还不够完备且充满挑战。因此,本文以数据库系统中的数据完整性约束问题为出发点,深入研究了如何在可扩展数据库系统中实现实体完整性和参照完整性这两类最主要的完整性约束。此外,针对可扩展数据库系统读写分离的架构特点和具体的应用场景,本文还探索了多种优化技术来最大化这两类完整性约束事务的执行性能。本文的主要贡献可以概括为以下几点:1.针对实体完整性和参照完整性约束相关功能的事务特点,总结了一类具有普遍意义的隐式长事务操作,并进一步给出了这些隐式长事务操作在可扩展数据库系统中的详细实现算法。2.提出了轻量级的主键生成管理器、自适应的批处理以及分布式并行处理等一系列优化技术,保证了在分布式、高并发以及大数据场景下,这些维护数据库系统实体完整性和参照完整性约束的事务操作依然能够拥有良好的性能。3.在开源的可扩展数据库系统CEDAR中集成了上述实体和参照完整性约束的实现方案和优化技术,并且通过大量的实验进一步证明了这些方法的正确性和高效性。综上所述,本文研究了如何在可扩展数据库系统中实现和优化数据的完整性约束。首先,针对可扩展数据库系统的架构特点,给出了一套完整的实体和参照完整性约束实现方案;其次,探索了一系列的优化技术,提升了事务在分布式和高并发环境下的执行效率;最后,通过大量的实验证明了该方案的正确性和高效性。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
可扩展数据库论文参考文献
[1].周欢.支持可扩展事务处理的数据库日志技术[D].华东师范大学.2019
[2].黄建伟.可扩展数据库系统数据完整性约束的实现与优化[D].华东师范大学.2019
[3].王建永,林俊,黄杰韬,方宽.达梦数据库中大规模数据可扩展并行算法[J].科学技术与工程.2019
[4].肖冰.可扩展数据库中快照隔离级别的实现与优化[D].华东师范大学.2018
[5].徐鹏,顾渊博,高凯,刘君华,许侃.基于目标扩展数据库的局放光学信号图降噪方法[C].2017智能电网发展研讨会论文集.2017
[6].钱招明.可扩展数据库管理系统中的数据复制[D].华东师范大学.2017
[7].武霖,赵贤.新媒体监管业务数据库表的可扩展设计及实现[J].中国有线电视.2016
[8].李雨.概率数据库可扩展查询技术[D].华中科技大学.2015
[9].杨春炜,李丰,孙淮.WebFF-开放、可扩展、智能化的网络力场数据库平台[C].中国化学会第29届学术年会摘要集——第19分会：化学信息学与化学计量学.2014
[10].钱敏,彭立,傅春霞.核电仪控高速可扩展的数据库软件设计与实现[C].中国核科学技术进展报告（第叁卷）——中国核学会2013年学术年会论文集第9册（核医学分卷、核技术工业应用分卷）.2013