三者都是基于mapreduce架构，属于三代产品，一代是hadoop，二代hive，三代是spark。
Hadoop是MapReduce一代，分为两大部分：HDFS、Mapreduce。
HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。
由于hadoop编写mapreduce比较繁琐，于是出现了第二代hive，只需要编写简单的sql就能操作mapreduce运算。
hive的出现方便了程序员和没有计算机背景的数据分析人员。我们只需要编写相对简单的sql命令，hive会帮我们翻译为mapreduce程序交给计算机去执行。
但是一代hadoop与二代hive存在一个共同的问题就是每次执行都是从磁盘中读取导致运行时间太长，无法实时输出结果，这时候三代spark出现了，
spark则是直接从内存中读取的。由于MapReduce 的框架限制，一个 MapReduce 任务只能包含一次 Map 和一次 Reduce，计算完成之后，MapReduce 会将运算结果写回到磁盘中（更准确地说是分布式存储系统）供下次计算使用。如果所做的运算涉及大量循环，比如估计模型参数的梯度下降或随机梯度下降算法就需要多次循环使用训练数据，那么整个计算过程会不断重复地往磁盘里读写中间结果。这样的读写数据会引起大量的网络传输以及磁盘读写，极其耗时，而且它们都是没什么实际价值的废操作。因为上一次循环的结果会立马被下一次使用，完全没必要将其写入磁盘。网友回复
我知道答案，我要回答
私活外包
最新提问
有没有免费让ai自动帮你接管操作电脑的mcp服务？
mcp为啥用Streamable HTTP 替代 HTTP + SSE？
scratchjr有没有开源的前端html网页版本源代码？
多模态大模型能否根据ui交互视频来来模仿写出前端交互动画效果ui代码？
如何用阿里云oss+函数计算fc+事件总线EventBridge+消息队列+数据库+redis缓存打造一个高并发弹性系统？
阿里云函数计算 FC如何在海外节点搭建一个代理网络？
ai studio中gemini build的代码如何发布到github pages等免费网页托管上 ？
如何在cursor、qoder、trae中使用Claude Skills功能？
有没有不用u盘就能重装系统的开源工具？
python如何固定摄像头实时计算停车场停车位剩余数量？
