精简缓存摘要论文-孙鹏宇

精简缓存摘要论文-孙鹏宇

导读:本文包含了精简缓存摘要论文开题报告文献综述及选题提纲参考文献,主要关键词:SSD,搜索引擎,摘要,缓存

精简缓存摘要论文文献综述

孙鹏宇[1](2015)在《搜索引擎精简摘要缓存方法研究》一文中研究指出在应答一个来自用户的查询(query)时,现代搜索引擎会返回给用户前k个相关的查询结果及其摘要。摘要是一小段摘选于文档的文本,该段文本归纳了查询词与文档的相关关系。生成摘要既需要消耗大量系统I/O来检索文档,又需要消耗大量的CPU来计算摘要。搜索引擎常常使用缓存技术来减少摘要生成过程的延迟。固态硬盘(Solid State Drive, SSD)是一种新兴的存储介质,它的I/O效率比传统的机械硬盘(Hard Disk Drive, HDD)快30倍到120倍。随着固态硬盘的性价比逐步提高,搜索引擎公司开始用固态硬盘替换传统机械硬盘。替换后搜索引擎系统I/O性能不断提高,性能瓶颈从I/O转变为CPU计算。为了应对固态硬盘带来的变化,进一步提升系统性能,本文提出了一个简单但有效的方法:用精简摘要(Fragment)替换原始的摘要。精简摘要在不改变摘要质量的前提下,仅存储摘要的位置信息。该方法空间利用率更高。返回摘要前精简摘要需恢复为完整摘要。针对精简摘要在恢复过程引起的文档检索,本文提出了使用精简文档(Short Document)替换完整文档的方法。精简文档同样也能够提高文档缓存的空间利用率。本文的主要工作包括:1.为了减少平均摘要生成延迟,本文设计了摘要的精简表示方法。精简摘要记录摘要在文档中的位置信息。在返回摘要前,精简摘要需要经过计算才能恢复成完整摘要。在相同的缓存空间下,精简摘要缓存的命中率远高于完整摘要缓存命中率。精简摘要缓存能够大量避免重复摘要计算。精简摘要恢复完整摘要的过程会引起文档检索以及一小部分额外计算,额外计算增加的摘要生成延时远小于精简摘要高命中率减少的摘要生成延时。2.为了减少在精简摘要恢复过程引起的文档检索延迟,本文在精简摘要的基础上,设计了配套的精简文档缓存。与文档缓存存储整篇文档不同,精简文档缓存仅存储文档中用来恢复完整摘要的句子。由于精简文档存储的内容更为精细,空间利用率更高,精简文档缓存能够有效减少摘要恢复过程的I/O。配套精简摘要缓存,精简文档缓存能够进一步提高摘要生成效率。通过实验我们发现,精简缓存使摘要缓存的空间利用率提高了15倍,精简文档缓存的空间利用率提高了6倍。(本文来源于《南开大学》期刊2015-05-01)

孟兆会[2](2008)在《基于访问对象大小的动态调节精简缓存摘要算法》一文中研究指出网络缓存技术认为是提高网络服务质量QoS(Quality of Service)的有效手段之一,它能降低Internet流量、提高终端用户的响应时间、减少网络的延迟。网络缓存技术是通过在现有网络层次结构中增加一层,将广域传输转为本地访问,根据用户提出的Web请求,将可能重复使用的内容按一定的策略缓保存在相对高速的Cache服务器中,保存输出内容的副本,当有相同请求时,直接在Cache中提取,由Cache服务器来满足用户请求。通过网络缓存技术可以减少网络中冗余数据的重复传输,优化网络带宽和数据传输。本论文通过对网络缓存的基本原理、研究动态等方面进行综合分析,提出了根据访问对象大小来划分缓存目录,对精简缓存摘要算法进行了改进。精简缓存摘要(Reduced Cache Digest,RCD)是在缓存摘要(CacheDigest,CD)的基础上提出的新的摘要算法,它是根据访问对象的访问频率特性将缓存目录分组:最近访问组(Recent)和频繁访问组(Frequent)。通过划分减少存储空间的使用,减少缓存目录发布时的带宽占有,在一定程度上解决了缓存摘要CD的局限性。但是由于RCD是将缓存目录划分为大小固定的两部分来分别记录最近访问的对象和频繁被访问的对象,随着大量的访问请求的到来,缓存目录在不停地更新,由于两组的大小固定,频繁被访问的组就会被填满,频繁被访问的对象可能就会被替换出去,导致缓存命中率急剧下降,在一定的程度上局限了网络缓存性能的体现。为了进一步提高网络缓存的命中率,在改进算法中根据不同请求实现最近访问组和频繁访问组大小的动态调节。由于用户之间的差别,其请求对象也有很大的不同。对象之间的差异导致对象大小(Size)的偏差。请求对象的大小会影响网络缓存的性能。一般地,小对象容易被大对象替换。不同大小的对象,请求访问的状况也不尽相同。经常被访问对象的大小一般集中在某一特定的范围之内,这个范围之外的其余对象的访问次数较少。通过以上的分析,为了减少RCD的弊端,本论文在划分缓存目录时着重考虑了访问对象的大小。实验表明,以RCD为基础,根据访问对象大小将缓存目录重新划分,并且实现动态调节目录空间,可以显着提高缓存命中率,更好的为用户服务。(本文来源于《太原理工大学》期刊2008-05-01)

贺硕[3](2004)在《RCD:一种精简的网络缓存内容摘要表达方法》一文中研究指出网络缓存技术是一种把访问过的网络对象(网页、嵌入对象、流媒体等)暂存起来用于将来再次访问的网络技术。目前研究的重点已进入网络缓存协作的新阶段。网络缓存协作使更多的用户共享更大的网络缓存从而更进一步提高网络缓存的命中率、字节命中率,并可进行负载平衡,从而更多地节省网络带宽、缩短用户等待时间。 网络缓存协作的关键是网络缓存的内容表达。本文在对网络缓存内容表达方法、研究动态综述的基础上,实现了一种精简的缓存内容摘要(RCD:Reduced Cache Digest)表达方法。该方法以缓存摘要(CD)为基础,为每台设定的缓存服务器生成含有被请求对象访问频率信息的缓存目录,并将网络对象进一步分为最近访问的、最频繁访问的和很少访问的叁组,RCD只把前两组网络对象映射到缓存目录中。在此基础上,以在7L交换机上设置RCD为目标,给出了RCD缓存目录的数据结构以及建立、更新和访问的算法,并分析了存储空间的大小以及组太原理工大学硕士研究生学位论文间划分对RCD性能的影响。 为了评价RcD的性能,我们建立了一个以局域网访问Internet为背景的软件模拟模型,它由两台网络缓存服务器,两台交换设备还有若干客户机组成。使用NLANR CACHE服务器提供的访问记录模拟客户机的访问请求。 在模拟环境中,首先调整RcD的参数,设定六组不同大小的缓存摘要,再设定recent组占整个缓存摘要的不同比例,结果表明,当recent组占整个缓存摘要的37.5%时,RCD性能最好。接着调整CD的参数,同样设定六组不同大小的缓存摘要,分别按照不同的更新比和不同的周期发布发布摘要,结果表明,当以一个小时为时间间隔发布摘要时,CD性能最好。 在以上参数设置下,取六组不同的访问记录,分别运行RCD和CD两种方案,实验表明,‘RCD相对于CD有较多的True Hit,而有较少的False Miss,但同时又有较多的False Hit。 从整体的试验结果看,RCD相对于cD在性能上有一定程度的改进,而且这种性能的提高是在无需发布缓存摘要的基础上获得的,节省了一定的网络带宽。(本文来源于《太原理工大学》期刊2004-05-01)

精简缓存摘要论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

网络缓存技术认为是提高网络服务质量QoS(Quality of Service)的有效手段之一,它能降低Internet流量、提高终端用户的响应时间、减少网络的延迟。网络缓存技术是通过在现有网络层次结构中增加一层,将广域传输转为本地访问,根据用户提出的Web请求,将可能重复使用的内容按一定的策略缓保存在相对高速的Cache服务器中,保存输出内容的副本,当有相同请求时,直接在Cache中提取,由Cache服务器来满足用户请求。通过网络缓存技术可以减少网络中冗余数据的重复传输,优化网络带宽和数据传输。本论文通过对网络缓存的基本原理、研究动态等方面进行综合分析,提出了根据访问对象大小来划分缓存目录,对精简缓存摘要算法进行了改进。精简缓存摘要(Reduced Cache Digest,RCD)是在缓存摘要(CacheDigest,CD)的基础上提出的新的摘要算法,它是根据访问对象的访问频率特性将缓存目录分组:最近访问组(Recent)和频繁访问组(Frequent)。通过划分减少存储空间的使用,减少缓存目录发布时的带宽占有,在一定程度上解决了缓存摘要CD的局限性。但是由于RCD是将缓存目录划分为大小固定的两部分来分别记录最近访问的对象和频繁被访问的对象,随着大量的访问请求的到来,缓存目录在不停地更新,由于两组的大小固定,频繁被访问的组就会被填满,频繁被访问的对象可能就会被替换出去,导致缓存命中率急剧下降,在一定的程度上局限了网络缓存性能的体现。为了进一步提高网络缓存的命中率,在改进算法中根据不同请求实现最近访问组和频繁访问组大小的动态调节。由于用户之间的差别,其请求对象也有很大的不同。对象之间的差异导致对象大小(Size)的偏差。请求对象的大小会影响网络缓存的性能。一般地,小对象容易被大对象替换。不同大小的对象,请求访问的状况也不尽相同。经常被访问对象的大小一般集中在某一特定的范围之内,这个范围之外的其余对象的访问次数较少。通过以上的分析,为了减少RCD的弊端,本论文在划分缓存目录时着重考虑了访问对象的大小。实验表明,以RCD为基础,根据访问对象大小将缓存目录重新划分,并且实现动态调节目录空间,可以显着提高缓存命中率,更好的为用户服务。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

精简缓存摘要论文参考文献

[1].孙鹏宇.搜索引擎精简摘要缓存方法研究[D].南开大学.2015

[2].孟兆会.基于访问对象大小的动态调节精简缓存摘要算法[D].太原理工大学.2008

[3].贺硕.RCD:一种精简的网络缓存内容摘要表达方法[D].太原理工大学.2004

标签:;  ;  ;  ;  

精简缓存摘要论文-孙鹏宇
下载Doc文档

猜你喜欢