大数据存储关键技术
一、大数据存储关键技术
1、大数据存储关键技术发展的现状
随着大数据在各行业的深度应用,大数据存储已成为一种商业服务,可扩展存储技术已达到企业级水平,可以管理几乎无限量的数据。Cloudera、Hortonworks和MapR等供应商以及各种NoSQL数据库供应商(尤其是那些使用内存和列式存储技术的供应商)提供的基于Hadoop的解决方案的广泛使用就是很好的案例。与依赖基于行的存储和昂贵的缓存策略的传统关系数据库管理系统相比,这些新颖的大数据存储技术以更低的操作复杂性和成本提供更好的可扩展性。
大数据存储技术大幅提高了存储技术的性能、可扩展性和可用性,在使用和进一步开发这些技术方面仍有巨大的潜力。
2、大数据存储关键技术潜力和面临的问题
(1)跨行业挖掘社会和企业的数据价值的潜力
大数据存储技术是社会管理和企业高级分析的关键推动因素,具有改变社会和关键业务决策方式的潜力。虽然这些行业面临诸如缺乏熟练的大数据专家和监管障碍等非技术问题,但新的数据存储技术有可能在各个工业部门内和跨工业部门实现新的价值生成分析。
(2)缺乏统一数据标准是主要障碍
NoSQL的历史建立在解决特定技术挑战的基础上,这些挑战导致了一系列不同的存储技术。技术方案选择的多样性加上缺乏查询数据的标准使得交换数据存储变得更加困难,缺乏统一标准将迫使应用程序特定的代码与特定的存储解决方案联系起来,这不利于大数据的推广与应用。
(3)图数据存储中的开放性和可扩展性的挑战
图数据可以更好地捕获语义与来自各种不同数据源的其他信息的复杂关系,并有可能提高通过分析数据产生的整体价值。虽然图数据库越来越多地用于此目的,但仍然很难在计算节点之间有效地分布基于图形的数据结构。
(4)隐私和安全隐患
尽管大数据存储中的隐私和安全问题越来越受到重视,但个人保护和数据安全仍落后于大数据存储系统的技术迭代,需要进行大量研究以更好地了解数据如何被滥用,如何保护数据并将其集成到大数据存储解决方案中。
3、大数据存储技术对社会和经济的影响
正如新兴的大数据技术及其在不同领域的应用所表明的那样,存储、管理和分析大量异构数据的能力暗示着一个具有巨大变革潜力的数据驱动型社会和经济新形态的出现。
企业现在可以以更低的成本存储和分析数据,同时以更强的分析能力将更多数据纳入决策分析。Google、Twitter、阿里、华为等公司是数据构成关键资产的成熟参与者,其他行业也变得更加信赖数据驱动决策。例如,公共卫生部门可以通过更好地整合和分析相关健康数据来调整并提供更好的公共卫生服务。
毕设系统定制、课程教学、问题1对1远程解答,可联系村长QQ:330168885
需要购买本课才能留言哦~