文件查询论文-黄青逢

文件查询论文-黄青逢

导读:本文包含了文件查询论文开题报告文献综述及选题提纲参考文献,主要关键词:文件查询,Web,企业微信

文件查询论文文献综述

黄青逢[1](2019)在《单位文件查询系统的设计和实现》一文中研究指出本文设计并实现了一套文件查询系统,通过该系统可管理、查看和下载单位及其各个部门相关的文件。系统可通过Web浏览器访问,提供企业微信版本,分别在单位门户网站和企业微信设置入口,访问方便快捷。(本文来源于《视听》期刊2019年05期)

刘春晓[2](2017)在《基于Parquet文件的Hive查询优化研究》一文中研究指出随着互联网行业的迅猛发展,全球总数据量的爆炸性增长,大数据已成为备受关注的研究课题。Hive作为最常用的一款数据仓库软件,在Hadoop分布式系统架构上实现了查询处理引擎,然而Hive在进行查询操作时仍然存在查询速度不够理想的缺憾。这一问题会使用户在做数据分析时耗费更长的时间,甚至导致分析处理速度跟不上数据增长的速度,严重制约了人们在大数据领域的发展。当下Hive对于Parquet列式存储文件的查询应用较为广泛。如何提高Hive基于Parquet文件的查询效率是一个尤为重要的课题。在对Hive的查询处理流程进行研究与分析的过程中,找出了某些情况下可以大幅提高Hive查询效率的改进方法。其一是在批量化查询的前提下,通过进一步分析Hive的查询流程,发现在读取数据的过程中,Hive执行了很多次重复的指令,导致了代码路径过长,CPU指令数过多的问题,遂提出了向量化查询的优化思想。此项优化使用向量作为基本操作单元,向量中装载有一批数据,每次操作均是一次性对一批数据进行操作。其二是在查询嵌套列式数据的前提下,通过分析Hive现有的字段剪枝,发现其不能过滤掉结构体中多余字段的问题,并基于此提出了更细粒度化的字段剪枝优化思想,使其能在查询执行之前对结构体中的多余字段进行过滤,避免了查询过程中过滤多余字段的工作,达到提高查询效率的目的。在对这两种优化进行验证的过程中,使用了典型的数据库测试基准以及通用应用场景下的一个典型案例。在生成测试数据后,通过对比优化前后同一个SQL语句执行时间,证实了这两种优化在符合要求的查询中能够显着提高Hive对Parquet文件的查询效率。(本文来源于《华中科技大学》期刊2017-12-01)

牟元英[3](2016)在《土地房屋登记资料查询利用依据文件分析——?以广东省为例》一文中研究指出2016年之前,广东省土地房屋登记资料查询利用依据文件主要有《土地登记资料公开查询办法》《房屋权属登记信息查询暂行办法》《广东省房地产档案业务规范》和《房地产登记技术规程》,这些文件与《中华人民共和国物权法》第十八条在查询主体和查询内容规定上是有些抵触的,查询机构在具体工作中长时间无所适从。国土资源部于2016年1月1日公布了《不动产登记暂行条例实施细则》。在此之际,本文试图通过对比分析土地房屋登记资料查询利用(本文来源于《中国档案》期刊2016年05期)

王维维,李仁旺,赵亚平,王海周,宋圣涛[4](2016)在《Linux文件搜索命令解析以及locate命令查询优化》一文中研究指出随着linux系统逐渐被广泛使用,系统使用者一般使用命令行的方式操作系统包括文件查找,特别是将linux系统作为服务器时,在数量众多的文件中找到需要的文件需要消耗很多时间,为了更快找到所需要的文件,针对现有的两种linux文件搜索命令的实现原理以及实现过程进行剖析,以及对着名的Boyer-Moore串匹配算法进行分析后,使用改进的BM算法对其中一种搜索命令即locate命令中字符串匹配算法进行优化,对改进算法的复杂度进行分析发现,在文件名的字符串匹配过程中与原来KMP算法相比较具有更高的效率,查找的速度更快。(本文来源于《浙江理工大学学报(自然科学版)》期刊2016年03期)

徐子祺[5](2016)在《云环境多用户加密查询的文件完整性验证的研究与实现》一文中研究指出云计算是目前高速发展的商业计算模式,它给人们的生活提供了巨大的便利,但也带来了存储在云端的数据安全问题。为了云端的数据安全,目前一般采用将数据加密后上传到云服务器端的方法,并提出了对加密数据进行查询的方法,以便共享数据的用户能通过关键字查询所需要的文件。另一方面,由于云服务器属于第叁方的商业机构,可能为了商业利益,对用户的数据查询提供不完整的结果。特别地,在多用户环境下,如何让用户安全的共享存储在云端的加密数据,并在不共享密钥的情况下,能动态修改加密文件并验证云服务器返回文件的完整性,是一个具有挑战性的课题。本文围绕云环境下多用户的动态文件完整性验证展开研究,主要工作包括以下叁个方面:(1)针对现有的DVSSE验证方案,虽然可以达到动态文件完整性检测的目的,但由于对称加密的特性,不适用于多用户环境的问题。本文结合多用户云环境的特点,利用关键字代理重加密,提出一种新的动态文件完整性验证方案(MDVSE),即在原方案中加入了代理服务器利用重加密密钥对密文重加密,改变了原方案中密文的加密方式。用户可以使用自己的私钥对加密数据查询、动态修改和验证。同时,为了适应多用户环境,利用双线性映射累加器生成了新的可验证证据。通过实验分析,该方案在多用户环境下,在不降低效率的条件下,可以保证关键字、文件和验证证据的安全性。(2)基于本文提出的文件完整性验证方案,针对验证返回结果的完整性,对验证方案进行了扩充。利用Merkle哈希树结构,将关键字和文件索引值的密文同时作为Merkle哈希树的叶子节点,由此构造另一个验证证据。当用户发现云端的文件集不完整时,可对返回的密文集进行完整性验证,由此提高用户的查询效率。此外,我们使用数字签名的技术来实现该方案的可追溯性。最后通过实验和安全性分析,证实了方案的安全性和高效性。(3)基于本文提出的MDVSE动态文件完整性验证算法,设计了云端文件存储系统,并对该系统进行需求分析、数据库设计以及系统设计。(本文来源于《湖南大学》期刊2016-05-09)

刘进军[6](2016)在《云存储系统中基于溯源关系的文件查询与管理方法研究》一文中研究指出随着备份、归档、视频等网络服务的广泛应用,云存储系统的规模越来越大,给文件访问的性能带来挑战。用户在访问文件之前需依靠文件查询来确定待访问的文件及其地址,因此需要提高文件查询的性能。而现有的元数据查询方法无法有效地支持文件的高性能查询,因此需要挖掘更多的文件相关性来提高元数据查询的性能。云存储系统中,大部分的数据都处于冷数据状态,被存储在价格便宜、性能较差的设备上。有些应用需要保证高效的冷数据访问性能,因此需要通过分析冷数据文件在文件访问以及文件属性的相关性来提高文件管理的性能,建立一个高效的冷数据的分布及其元数据的索引结构。现在,大数据存储及其网络传输中视频已经占了65%,这些视频中大量的近似重复视频带来了巨大的传输和存储开销。针对这种特殊文件的应用和管理,需要通过挖掘这些视频之间的关系来提高视频的存储空间有效性以及访问速度。因此,挖掘文件之间的相关性对于提高云存储系统中文件访问性能具有重要作用。在云存储系统中,具有溯源关系的文件之间具有数据相关性,这种数据相关性导致这些文件具有相同或相似的内容,因此从溯源数据中可以挖掘到具有溯源关系的文件相关性,包括很强的内容相似性、属性相似性和读写特征的相似性以及较弱的内容差异性等。同时,文件的溯源数据记录了影响这个文件最终状态的所有进程和文件,通过对溯源数据的分析不仅在空间维度上可挖掘到更多文件的相关性,而且在时间维度上可以得到文件之间的相关性的变化,从而可提高文件相关性度量的精确度。因此,围绕加快文件访问的速度这一目标,本文利用文件相关特性提出了叁种优化方法。(1)针对云存储系统规模的扩大会降低文件访问所必需的元数据查询操作的性能的问题,提出了一种挖掘具有溯源关系的文件之间的内容相似性的元数据查询方法PROMES,通过在查询流程中增加关系图查询减少元数据索引树中的查询范围而加快了查询速度,通过引入关系的时效性和文件的权重两个参数提高了关系图中文件相关性度量的准确性而增加了查询准确率。PROMES中的元数据查询分为叁步:通过一个相关性感知的元数据索引树来定位到一些文件的元数据作为种子。绝大部分的种子满足查询条件,然后使用种子在根据溯源关系所生成的关系图中查询剩余的查询结果,最后进行排序并精简以得到最终的查询结果。因为由溯源关系生成的关系图具有文件相关性紧密、轻量索引的特点,所以PROMES具有显着的高查询准确率和低延迟的优点。实验测试表明:PROMES比现在最新的元数据查询方法减小了1到2个数量级的查询时间,并具有更高的查询准确率。(2)针对云存储服务供应商通常在低功耗的设备上存储冷数据文件及其元数据而导致文件访问速度受限的问题,提出了一种基于溯源关系中文件的属性和访问特征相似性的冷数据分布及其元数据索引机制,通过挖掘具有溯源关系的文件之间的访问特征相似性调整文件的分布状态减少访问冷数据文件的等待时间并节省能源,通过挖掘具有溯源关系的文件之间的元数据相似性对文件元数据进行逻辑分组减少冷数据文件的元数据查询的延时。这个机制包含两个方法:基于溯源关系中文件的访问特征相似性的冷数据重分布方法Prodi和基于溯源关系中文件的属性特征相似性的冷数据元数据索引方法P-index。通过测试表明Prodi节省了25%能源,而P-index的性能比现有的元数据索引结构减少了1到2个数量级的查询时间开销。(3)针对云存储系统中大量的近似重复视频降低了用户的体验质量,并消耗了服务供应商的很多资源的问题,提出了一种基于溯源关系中文件的内容差异性的视频压缩与传输机制Provis,利用视频的溯源数据能够支持视频重建和记录了具有溯源关系的视频之间内容差异的溯源数据的大小远小于视频文件的特性,通过保存视频的溯源数据来替代保存视频的方法压缩近似视频而提高存储系统的空间有效性,通过上传视频的溯源数据后再在云端重建视频的方法来替代直接上传视频而加快了视频上传的速度并减少上传的网络开销。通过两个视频数据集的测试比较了Provis与其它现存的视频压缩技术,结果显示Provis能够显着节省空间并降低视频上传的网络开销,溯源图的存储开销和视频重建的时延在用户可接受范围内。综上所述,本文主要解决云存储系统规模的扩大给文件的查询与管理性能带来新的挑战的问题,通过挖掘具有溯源关系的文件之间的各种相关特性来优化云存储系统的文件查询和管理,提出了一系列的方法,这些方法不仅可以用来提高存储系统的文件访问的性能,而且为溯源关系的广泛应用提供了相关理论和技术支撑。(本文来源于《华中科技大学》期刊2016-05-01)

罗玲[7](2015)在《贵州广电局标准文件查询检索系统的设计与实现》一文中研究指出广电网络建设和管理工作涉及到的因素环节众多,要使用和查询的相关标准信息量巨大而繁杂,随着有限电视网络建设的不断发展和延伸,网络结构日渐复杂,有限电视网络涉及到的设备资源种类和数量也日渐增加,现有的建设工作规范的检索和查询已不能适应日益增长的业务资源追求,用网络对相关规定、标准可以方便的使用手机、平板等便携设备进行快速查找提出了新的要求。如何对这些已有的技术标准、管理标准和工资标准的文字、设计图纸、文件等进行统一、有效的管理,是对工作上使用的文件进行实时更新,提高这些技术标准、管理标准和工作标准在实际工作中的可用价值,实现合理规划、建设新的网络资源,有效地管理和配置现有资源,是广电信息化建设的发展趋势和建设目标。本文从贵州广电局标准文件查询检索系统的需求和相关理论技术知识入手,将开发方式与系统设计与实现用到的技术原理进行阐述,再详细解说系统的具体设计,包括界面设计以本系统的后台管理。并以整个设计开发流程展现系统的具体功能和实现过程。并在本系统在开发工作完成之后,进行了测试工作,结果表明该系统实现了预期的设计要求,能够满足广电局基本的文件管理、检索需求。(本文来源于《东北大学》期刊2015-11-01)

张俊杰[8](2015)在《物流信息文件多维元数据索引与查询研究》一文中研究指出随着电子商务和物流产业的迅猛发展,其存储处理系统中的物流文件具有数据量大、数据更新频繁等特点,对物流文件如何快速地实现查找是物流系统迫切需要解决问题之一。物流文件中含有大量的多维元数据,现有的索引结构因没有充分利用其中元数据,而不能更有效的满足多维元数据复杂查询的要求。为此,本论文主要研究内容如下:首先,在物流文件中,根据多维元数据索引结构的需求,本文在R树节点上放入布隆过滤器(Bloom Filter)提出一种多维元数据索引结构,称为R树布隆过滤器,简称R-TBF(R-Tree and Bloom Filter)。物流文件中元数据更新频次高,为了保证索引结构的更新性能,本文接着提出R-TBF索引结构的更新机制,它由基础索引结构和更新缓存结构组成。最后用在物流文件中的多维元数据的查询实例说明我提出的索引结构与更新机制。其次,为了能够在物流信息存储系统中快速的查找到物流文件,本文采用R-TBF索引结构,建立元数据立方体(metadata cube),设计了一种基于元数据立方体的R树布隆过滤器的查询机制,英文简称R-TBFMC(Query Mechanism of R-Tree and Bloom Filter based Metadata Cube)。查询机制设计了叁个模块:R-TBFMC主模块,R-TBFMC查询模块以及R-TBFMC更新模块。同时设计了两种查询方法,分别是范围和值查询法和范围最大值查询法。最后,进行了多维元数据查询机制的实现工作,实现了多维元数据查询机制的叁个模块,以及两种查询算法——范围和值查询法和范围最大值查询法。并对提出的查询机制(基于元数据立方体的R树布隆过滤器的查询机制)的性能进行测试与分析来证实此查询机制的高效性。(本文来源于《南京邮电大学》期刊2015-05-01)

张锦歌,夏敏捷[9](2015)在《基于文件的公交查询系统开发》一文中研究指出采用C#技术开发公交查询系统,阐述文件读写、线路查询、换乘查询实现等关键问题。(本文来源于《电脑编程技巧与维护》期刊2015年08期)

刘应波,王锋,季凯帆,邓辉,戴伟[10](2015)在《基于NoSQL的FITS文件头元数据存储和查询研究》一文中研究指出随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题,提出了使用NoSQL对天文上广泛使用的FITS文件头中所包含的可变元数据信息进行存储和查询;讨论了关系型数据模型存储可变FITS文件头的不足;分析了NoSQL存储可变FITS头元数据信息的可行性;使用形式化的关系型代数对这种存储查询方式进行了一般化的讨论。通过具体查询实例验证了该方案在存储天文可变FITS文件头的有效性和可行性。(本文来源于《计算机应用研究》期刊2015年02期)

文件查询论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

随着互联网行业的迅猛发展,全球总数据量的爆炸性增长,大数据已成为备受关注的研究课题。Hive作为最常用的一款数据仓库软件,在Hadoop分布式系统架构上实现了查询处理引擎,然而Hive在进行查询操作时仍然存在查询速度不够理想的缺憾。这一问题会使用户在做数据分析时耗费更长的时间,甚至导致分析处理速度跟不上数据增长的速度,严重制约了人们在大数据领域的发展。当下Hive对于Parquet列式存储文件的查询应用较为广泛。如何提高Hive基于Parquet文件的查询效率是一个尤为重要的课题。在对Hive的查询处理流程进行研究与分析的过程中,找出了某些情况下可以大幅提高Hive查询效率的改进方法。其一是在批量化查询的前提下,通过进一步分析Hive的查询流程,发现在读取数据的过程中,Hive执行了很多次重复的指令,导致了代码路径过长,CPU指令数过多的问题,遂提出了向量化查询的优化思想。此项优化使用向量作为基本操作单元,向量中装载有一批数据,每次操作均是一次性对一批数据进行操作。其二是在查询嵌套列式数据的前提下,通过分析Hive现有的字段剪枝,发现其不能过滤掉结构体中多余字段的问题,并基于此提出了更细粒度化的字段剪枝优化思想,使其能在查询执行之前对结构体中的多余字段进行过滤,避免了查询过程中过滤多余字段的工作,达到提高查询效率的目的。在对这两种优化进行验证的过程中,使用了典型的数据库测试基准以及通用应用场景下的一个典型案例。在生成测试数据后,通过对比优化前后同一个SQL语句执行时间,证实了这两种优化在符合要求的查询中能够显着提高Hive对Parquet文件的查询效率。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

文件查询论文参考文献

[1].黄青逢.单位文件查询系统的设计和实现[J].视听.2019

[2].刘春晓.基于Parquet文件的Hive查询优化研究[D].华中科技大学.2017

[3].牟元英.土地房屋登记资料查询利用依据文件分析——?以广东省为例[J].中国档案.2016

[4].王维维,李仁旺,赵亚平,王海周,宋圣涛.Linux文件搜索命令解析以及locate命令查询优化[J].浙江理工大学学报(自然科学版).2016

[5].徐子祺.云环境多用户加密查询的文件完整性验证的研究与实现[D].湖南大学.2016

[6].刘进军.云存储系统中基于溯源关系的文件查询与管理方法研究[D].华中科技大学.2016

[7].罗玲.贵州广电局标准文件查询检索系统的设计与实现[D].东北大学.2015

[8].张俊杰.物流信息文件多维元数据索引与查询研究[D].南京邮电大学.2015

[9].张锦歌,夏敏捷.基于文件的公交查询系统开发[J].电脑编程技巧与维护.2015

[10].刘应波,王锋,季凯帆,邓辉,戴伟.基于NoSQL的FITS文件头元数据存储和查询研究[J].计算机应用研究.2015

标签:;  ;  ;  

文件查询论文-黄青逢
下载Doc文档

猜你喜欢