大数据常用的处理框架有哪些？

批处理是大数据处理的普遍需求。批处理主要操作大容量静态数据集，在记账过程完成后返回结果。针对这种处理模式，批处理有一个明显的缺点，就是面对大规模的数据，记账处理的威力不尽如人意。

目前，批处理在处理许多持久数据方面表现出色，因此经常用于分析历史数据。

2.流处理

批处理之后的另一个普遍需求是流处理，它实时处理进入系统的数据，处理结果立即可用，并将随着新数据的到来而不断更新。

在实时性方面，流处理是优秀的，但是流处理只能同时处理一个(实流处理)或者几个(微批处理)数据，不同记录之间只维持很少的条件，对硬件要求较高。

3.批处理+流处理

在实际中，批处理和流处理共存的场景很多，混合处理框架就是为了处理这类问题而设计的。为数据处理提供通用的处理方案，不仅可以提供数据处理所需的方法，还可以提供自己集成的项、库、物，可以满足图形分析、机器学习、交互查询等多种场景。

大数据常用的处理框架有哪些，青腾边肖在这里给大家分享一下。如果你对大数据工程感兴趣，希望这篇文章能帮到你。如果想了解更多关于数据分析师和大数据工程师的技能和资料，可以点击本站其他文章进行学习。