hadoop、hive与spark三者有什么区别？
网友回复
三者都是基于mapreduce架构，属于三代产品，一代是hadoop，二代hive，三代是spark。
Hadoop是MapReduce一代，分为两大部分：HDFS、Mapreduce。
HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
由于hadoop编写mapreduce比较繁琐，于是出现了第二代hive，只需要编写简单的sql就能操作mapreduce运算。
hive的出现方便了程序员和没有计算机背景的数据分析人员。我们只需要编写相对简单的sql命令，hive会帮我们翻译为mapreduce程序交给计算机去执行。
但是一代hadoop与二代hive存在一个共同的问题就是每次执行都是从磁盘中读取导致运行时间太长，无法实时输出结果，这时候三代spark出现了，
spark则是直接从内存中读取的。由于MapReduce 的框架限制，一个 MapReduce 任务只能包含一次 Map 和一次 Reduce，计算完成之后，MapReduce 会将运算结果写回到磁盘中（更准确地说是分布式存储系统）供下次计算使用。如果所做的运算涉及大量循环，比如估计模型参数的梯度下降或随机梯度下降算法就需要多次循环使用训练数据，那么整个计算过程会不断重复地往磁盘里读写中间结果。这样的读写数据会引起大量的网络传输以及磁盘读写，极其耗时，而且它们都是没什么实际价值的废操作。因为上一次循环的结果会立马被下一次使用，完全没必要将其写入磁盘。by thinkfuture
我知道答案，我要回答
私活外包
最新提问
