首页 > 科技 > 正文

以互联网为计算平台的云计算, 为何能够海量处数据?

日期:2019-12-03 15:34:51   来源:互联网   编辑:小优   阅读人数:539
以互联网为计算平台的云计算,将会更广泛地涉及海量数据处理任务。海量数据处理指的是对大规模数据的计算和分析,通常数据的规模可以达到TB甚至PB级别。在互联网时代,互联网数据的统计和分析很多是海量数据级别

以互联网为计算平台的云计算,将会更广泛地涉及海量数据处理任务。海量数据处理指的是对大规模数据的计算和分析,通常数据的规模可以达到TB甚至PB级别。在互联网时代,互联网数据的统计和分析很多是海量数据级别的,一个典型的例子就是搜索引擎。由于数据量非常大,一台计算机不可能满足海量数据处理的性能和可靠性等方面的要求。以往对于海量数据处理的研究通常是某种并行计算模型和计算机集群。并行计算模型可以支持高吞吐量的分布式批处理计算任务和海量数据,计算机集群则在通过互联网连接的机器集群上建立一个可扩展的可靠的计算环境。

以互联网为计算平台的云计算, 为何能够海量处数据?(图1)

在互联网时代,由于海量数据处理操作非常频繁,很多研究者在从事支持海量数据处理的编程模型方面的研究。例如,Remzi等人在1999年设计了River编程模型,人员可以基于该编程模型和执行计算任务。River编程模型的设计目的就是使得大规模计算机集群的编程和计算更加容易,并且获得极佳的计算性能。River编程模型有两个核心设计特性:高性能的分布式队列和一个存储冗余机制。因此,River需要对磁盘和网络的数据传输进行非常精心的调度。当今世界最流行的海量数据处理的编程模型可以说是由Google公司的Jeffrey Dean等人所设计的MapReduce编程模型。MapReduce编程模型将一个任务分成很多更细粒度的子任务,这些子任务能够在空闲的处理节点之间调度,使得处理速度越快的节点处理越多的任务,从而避免处理速度慢的节点延长整个任务的完成时间。下面我们将介绍MapReduce框架的工作原理和设计原则,从而加深读者对海量数据处理的理解。

以互联网为计算平台的云计算, 为何能够海量处数据?(图2)

MapReduce框架从Lisp及很多其他类似的语言获得灵感,研究人员发现大多数分布式运算可以抽象为Map和Reduce两个步骤,从而实现可靠、高效的分布式应用。Map步骤负责根据输入的key/value(键值)对生成中间结果,中间结果同样采用key/value对的形式。Reduce步骤则将所有的中间结果根据key进行合并,生成最终结果。者只需要实现Map和Reduce函数的逻辑,提交给MapReduce远行环境,计算任务便会在由大量计算机组成的集群上被自动、并行地调度执行。运行环境负责将输入数据进行分割、调度任务、自动处理运行过程中的机器失效,以及协调不同节点之间的数据通信。

以互联网为计算平台的云计算, 为何能够海量处数据?(图3)

MapReduce的运行环境由两种不同类型的节点组成:Master和Worker。Worker,负责数据处理,Master,负责任务调度及不同节点之间的数据共享。

本文相关词条概念解析:

海量

海量,汉语词语,通俗的意思就是像大海一样多的量。出处元耶律楚材《题平阳李君实吟醉轩》诗:“长鲸海量嫌甜酒,彩笔天才笑小诗。”

编程

编程是编写程序的中文简称,就是让计算机为解决某个问题而使用某种程序设计语言编写程序代码,并最终得到相应结果的过程。为了使计算机能够理解人的意图,人类就必须要将需解决的问题的思路、方法、和手段通过计算机能够理解的形式告诉计算机,使得计算机能够根据人的指令一步一步去工作,完成某种特定的任务。这种人和计算机之间交流的过程就是编程。编程:设计具备逻辑流动作用的一种“可控体系”【注:编程不一定是针对计算机程序而言的,针对具备逻辑计算力的体系,都可以算编程】例子:①比如编写一段代码程序②编写一个控制设备体系。

延伸 · 推荐

Google 收购企业云计算公司 CloudSimple

CloudSimple 让企业可以在云端运行 VMware vSphere 计算负载,从而允许他们使用现有的本地工具和数据库,并以最少的设备将它们插入 Google Cloud。除了 Google C...

依图开放 AI 芯片视觉计算创新平台,实现算法芯片对接「即插即用」|电商资讯

为了解决 AI 算法和芯片对接难的难题,依图基于自身经验,提出了建立视觉计算创新平台的概念。10 月 30 日,依图正式启动AI 芯片视觉计算创新平台开放计划,开放从底层计算硬件、算法、数据库、应用层...

工业互联网与5G、云计算、大数据、人工智能之间的关系

工业互联网和5G5G和工业互联网之间的关系,主要集中在接入层。高连接速率、超低网络延时、海量终端接入、高可靠性,都是5G所具备的优点。这些优点,将非常有利于5G替代现有的厂区物联网通信技术,尤其是Wi...

  • 网友评论
返回顶部