三者都是基于mapreduce架构，属于三代产品，一代是hadoop，二代hive，三代是spark。
Hadoop是MapReduce一代，分为两大部分：HDFS、Mapreduce。
HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
由于hadoop编写mapreduce比较繁琐，于是出现了第二代hive，只需要编写简单的sql就能操作mapreduce运算。
hive的出现方便了程序员和没有计算机背景的数据分析人员。我们只需要编写相对简单的sql命令，hive会帮我们翻译为mapreduce程序交给计算机去执行。
但是一代hadoop与二代hive存在一个共同的问题就是每次执行都是从磁盘中读取导致运行时间太长，无法实时输出结果，这时候三代spark出现了，
spark则是直接从内存中读取的。由于MapReduce 的框架限制，一个 MapReduce 任务只能包含一次 Map 和一次 Reduce，计算完成之后，MapReduce 会将运算结果写回到磁盘中（更准确地说是分布式存储系统）供下次计算使用。如果所做的运算涉及大量循环，比如估计模型参数的梯度下降或随机梯度下降算法就需要多次循环使用训练数据，那么整个计算过程会不断重复地往磁盘里读写中间结果。这样的读写数据会引起大量的网络传输以及磁盘读写，极其耗时，而且它们都是没什么实际价值的废操作。因为上一次循环的结果会立马被下一次使用，完全没必要将其写入磁盘。网友回复
我知道答案，我要回答
私活外包
最新提问
如何破解绕开seedance2.0真人照片生成视频 限制？
python有哪些算法可以将视频中的每个帧图片去除指定区域水印合成新的视频？
iphone的激光雷达数据能否实时传输到three三维空间中？
豆包sora等ai视频生成大模型生成的视频水印如何去除？
python如何实现在电脑上拨号打电话给手机？
具身机器人与人形机器人区别？
nodejs如何将一个完整的js代码文件切割成不同的部分混淆后动态加载进入html运行？
为啥windows.onerror捕获js错误是这样的{"message":"Script error.","source":"","lineno":0,"colno":0,"stack":null,
2026年ai将全面接管编程？
WebMCP是干啥的？
