数据倾斜产生的原因及解决办法

发布网友 发布时间：2024-10-23 02:40

我来回答

共1个回答

热心网友 时间：2024-11-04 10:55

数据倾斜是大数据处理中常见的一种现象，其根本原因在于数据的分布不均匀，导致个别节点的工作负担过重。解决数据倾斜的关键在于让数据在map与rece节点间的分配更加均衡。

数据倾斜的具体产生过程包括数据经过map阶段后，不同key的数据量分布不均。在shuffle阶段，相同的key会被标记为发往同一个rece节点。随后，数据开始spill写入磁盘，最后merge成最终的map阶段输出文件。当数据量特别大的key发往同一个rece节点，可能会超出节点的计算能力，导致计算时间过长。

判断数据是否倾斜可以通过分析节点资源管理器或执行日志。如果大部分节点已完成任务，而某些节点长时间未完成，可能发生了数据倾斜。作业在rece阶段停留较长时间，也可能表示数据倾斜问题。

业务逻辑是造成数据倾斜的主要原因，包括但不限于group by操作、distinct count、小表与大表的join等。解决方案包括调整参数、优化SQL语句，以及转换数据类型等。

调整参数方面，可以设置hive.map.aggr=true以开启map端聚合，提高效率但需要更多的内存。同样，开启hive.groupby.skewindata=true可以生成两个MRJob来均衡负载。第一个MRJob随机分布数据到rece中进行部分聚合，第二个MRJob根据预处理的数据结果按照GroupBy Key分布数据，完成最终聚合。

解决空值产生的数据倾斜，可以先过滤空值，减少数据读取量，或者为空值随机赋值。方法2比方法1效率更高，作业数也更少。

对于不同数据类型关联导致的数据倾斜，可以将数字类型转换为字符串类型，避免默认的哈希操作依据错误的数据类型分配数据。

处理小表与大表的join问题，可以调整hive.auto.convert.join参数以自动选择map join，或者设置hive.mapjoin.smalltable.filesize以适应特定的表大小。当表过大时，可以先行进行内关联结果作为小表，或者对小表进行扩容。

解决大表join时Map输出key数量极少导致rece端退化为单机作业问题，可以通过对Join表去重，过滤掉无用信息来实现。