异构海量数据论文-李德伟,黄高明

异构海量数据论文-李德伟,黄高明

导读:本文包含了异构海量数据论文开题报告文献综述及选题提纲参考文献,主要关键词:云计算,作战数据,框架

异构海量数据论文文献综述

李德伟,黄高明[1](2019)在《多源异构海量训练数据实时处理技术研究》一文中研究指出为加强部队训练能力,客观、合理评估训练效果,联合训练需对海情、空情、水文、气象、指挥指令以及装备产生的报文、音视频等多源异构海量数据进行实时处理。通过传输服务、协议适配和实时消息处理等模块的构建,实现多源异构海量数据的互联互通和实时数据接入控制,设计基于Hadoop与分布式并行存储数据库,提高海量数据的实时存储和访问效率,通过海量数据预处理、数据融合和高性能计算等设计实现海量数据实时性处理能力。实践证明系统运行稳定、信息处理及时,为训练效果裁决评估提供了实时可靠的数据依据。(本文来源于《计算机与网络》期刊2019年11期)

徐娜[2](2019)在《物联网海量异构数据存储与共享策略研究》一文中研究指出随着时代的不断发展进步,我国的物联网行业也得到了更好的发展,虽然物联网行业当中所涉及到的范围较广,但是整个行业发展仍然处于初级阶段,因此,需要重点解决物联网发展过程当中信息存储发展智能化的问题。在我国目前互联网发展的过程当中,需要重点解决的就是物联网在异构数据存储共享方面所存在的问题,只有更好地对这一问题进行解决,才能有效的保证物联网的发展质量。因此,本文将重点对物联网海量异构数据存储与共享策略进行研究。(本文来源于《科学技术创新》期刊2019年06期)

雷晗[3](2018)在《海量异构数据存储关键技术研究综述》一文中研究指出为了帮助海量异构数据存储技术方向的初学者和研究人员,更好地理解海量异构数据存储技术的思想,把握海量异构数据存储技术的要点,了解海量异构数据存储技术的现状和发展方向。文章从海量异构数据存储等基本概念出发,介绍了海量异构数据存储技术的发展现状,讨论了海量异构数据存储技术的特点和优缺点,介绍了较新的海量异构数据存储技术的发展方向及应用。(本文来源于《信息通信》期刊2018年11期)

孙玉玲,陈占芳,王艳春[4](2018)在《物联网海量异构数据存储及共享》一文中研究指出随着信息化时代的来临,物联网在网络的发展过程中起着巨大的推动作用,但是物联网信息系统对海量异构数据的存储和共享不能达到最优。因此,怎样加强物联网数据的存储和共享是一个问题。本篇文章从物联网海量异构数据的存储和共享方面提出的策略进行分析研究,最大可能的实现物联网数据能够在相关行业发挥最大作用。(本文来源于《电子技术与软件工程》期刊2018年21期)

吴姗姗[5](2018)在《面向战术移动环境的海量异构数据混合存储方法》一文中研究指出本文涉及面向移动协同作战背景下处理海量异构数据的混合存储系统与方法,主要用于移动作战环境下信息的实时采集、高速存储与及时索引。通过提供通用的异构数据资源元数据描述模型、数据混合存储的解决方案,来规范化海量异构数据资源的共享流程,同时提供一种优化的索引构建算法和数据归档方法实现海量数据资源的采集、索引构建和持久化,完成移动协同作战环境下的数据资源的共享与有效利用。本方法能够有效地处理各种复杂的移动环境下数据结构异构、数量巨大、物理位置分散及数据内容复杂多样所带来的数据存储问题。(本文来源于《第六届中国指挥控制大会论文集(下册)》期刊2018-07-02)

马冬洁[6](2018)在《海量异构传感器数据的自动解析方法研究与实现》一文中研究指出物联网呈现异构节点海量化、汇聚协议多样化、数据解析差异化的特点,多样化汇聚协议的适配与数据解析是大规模物联网数据汇聚的核心与关键。针对数据格式已知的汇聚协议,如MQTT、HTTP、CoAP、STOMP、AMQP等,编写协议适配软件能够有效的实现数据解析。该方式对未知协议的扩展性差,无法实现未知类型数据的解析。本文聚焦的是未知类型传感器数据自动解析的问题,针对类型固定和动态变化两种场景设计对应的解析方法。具体工作如下:针对类型未知但固定的传感器数据解析的问题,基于确定有限自动机(DFA)的思想,提出一种适用于传感器数据的扫描和词法分析方法,实现对类型未知的传感器数据有效关键词的提取,屏蔽了异构数据的格式封装差异,保障了未知类型的异构传感器数据词法单元的精确分割;设计一种状态转换数据解析模型,提出基于状态转换矩阵的传感器数据语法解析方法和海量数据的配套栈处理机制,对所扫描出的Token流与其对应的属性做出关系推理。实验表明,该方法具有快速高效的优点,平均准确率达到99.5%,能够实现对格式固定的未知类型异构传感器数据的精准自动解析。针对类型未知且动态变化的传感器数据解析的问题,基于无监督学习的思想,采用K-Means聚类方法提出一种数据解析模板构造模型,设计基于K-Means聚类的数据分类方法、准确度检验机制和数据模板自修正方法,实现对海量传感器数据的模板构造,保障了物联网平台对数据多样化汇聚的兼容性;提出一种可用信息抽取解析模型,设计规则槽挖掘机制和信息抽取方法,通过多点修正分步回溯,实现对海量传感器数据的自动解析和脏数据清洗。实验表明,该方法结果类别群的平均数据相似度ADS达到0.93,能够实现解析过程与数据类型解耦,具有动态适配性。基于自主研发的微物联共享平台,实现模式化解析系统,并进行功能的测试,两种方法的平均解析结果准确度均可达到98%,验证了本文所提出方法的有效性;对方法的实时性能和系统的整体性能进行测试,在10k的数据量下,对固定类型的数据解析可以达到260ms的低耗时,且在数据类型动态变化的场景下,处理时间保持在750ms至800ms之间,实现了海量异构传感器数据准确高效的自动解析。(本文来源于《西安电子科技大学》期刊2018-06-01)

桑海翎,郭文忠[7](2018)在《基于海量异构数据索引语义查询的关键模型研究》一文中研究指出基于非结构化数据海量、异构、多元、内容丰富、不容易描述的特点,从海量异构数据特征模型角度,对非结构化数据的混合查询问题进行分析.重点论述非结构化数据特征建模的关键技术,可以有效地解决网络大数据背景下的数据检索效率,从整体上提高数据检索的速度和效率.(本文来源于《福州大学学报(自然科学版)》期刊2018年03期)

王瑾[8](2018)在《物联网海量异构数据存储与共享策略的思考》一文中研究指出研究物联网海量异构数据存储以及共享策略,能够有效提高数据存储以及数据共享的质量。基于此,文章首先简单介绍物联网信息服务系统的结构组成。其次,分析物联网海量异构数据存储的方法,其中主要包括知识密度的应用、预处理技术以及数据分布3方面内容。最后,研究物联网海量异构数据共享策略,其中主要包括基于设计准则的数据共享策略、基于物联网标识平台的数据共享策略两方面内容。(本文来源于《无线互联科技》期刊2018年10期)

李贺,李晓琳[9](2018)在《基于语义匹配的海量异构数据自动化集成方法研究》一文中研究指出随着互联网与信息化的普及,数据数量、数据来源与数据格式的复杂性愈加突出。互联网、传感器、人工收集等多种来源产生了海量异构数据,为解决多源异构数据处理问题,设计一种将海量异构数据自动化集成到同一数据仓库的方法。通过建立元数据模型(以数据集为单位)将来源数据按数据集分类,映射整合到数据仓库中,通过CRF序列标注模型、Skip-Gram神经网络、TF*IDF等机器学习技术,解决了数据仓库集成中语义映射的难题,实现了海量多源异构数据的自动化入库,为之后的数据分析挖掘提供了良好基础。(本文来源于《软件导刊》期刊2018年04期)

何怡芝[10](2018)在《船舶物联网平台海量异构数据存储与共享策略研究》一文中研究指出海上大型船舶装备了大量的现代化设备,具有较高的智能化、自动化水平,可以进行24 h的海上勘测、船舶信息采集和气象信息采集等功能,研究船舶数据平台的数据存储与处理技术有重要意义。随着计算机技术与物联网技术的发展,船舶物联网平台成为了业内的研究热点。本文深入研究了船舶装备物联网服务平台的组成架构与原理,重点研究了船舶物联网平台海量异构数据存储与共享的策略,对改善海上试验平台的数据分析与处理能力有重要作用。(本文来源于《舰船科学技术》期刊2018年04期)

异构海量数据论文开题报告

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

随着时代的不断发展进步,我国的物联网行业也得到了更好的发展,虽然物联网行业当中所涉及到的范围较广,但是整个行业发展仍然处于初级阶段,因此,需要重点解决物联网发展过程当中信息存储发展智能化的问题。在我国目前互联网发展的过程当中,需要重点解决的就是物联网在异构数据存储共享方面所存在的问题,只有更好地对这一问题进行解决,才能有效的保证物联网的发展质量。因此,本文将重点对物联网海量异构数据存储与共享策略进行研究。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

异构海量数据论文参考文献

[1].李德伟,黄高明.多源异构海量训练数据实时处理技术研究[J].计算机与网络.2019

[2].徐娜.物联网海量异构数据存储与共享策略研究[J].科学技术创新.2019

[3].雷晗.海量异构数据存储关键技术研究综述[J].信息通信.2018

[4].孙玉玲,陈占芳,王艳春.物联网海量异构数据存储及共享[J].电子技术与软件工程.2018

[5].吴姗姗.面向战术移动环境的海量异构数据混合存储方法[C].第六届中国指挥控制大会论文集(下册).2018

[6].马冬洁.海量异构传感器数据的自动解析方法研究与实现[D].西安电子科技大学.2018

[7].桑海翎,郭文忠.基于海量异构数据索引语义查询的关键模型研究[J].福州大学学报(自然科学版).2018

[8].王瑾.物联网海量异构数据存储与共享策略的思考[J].无线互联科技.2018

[9].李贺,李晓琳.基于语义匹配的海量异构数据自动化集成方法研究[J].软件导刊.2018

[10].何怡芝.船舶物联网平台海量异构数据存储与共享策略研究[J].舰船科学技术.2018

标签:;  ;  ;  

异构海量数据论文-李德伟,黄高明
下载Doc文档

猜你喜欢