Spark2中使用累加器、注意点以及实现自定义累加器.docx

【文件属性】：

文件名称：Spark2中使用累加器、注意点以及实现自定义累加器.docx

文件大小：72KB

文件格式：DOCX

更新时间：2022-09-10 06:14:24

spark accumulator

累加器（accumulator）是Spark中提供的一种分布式的变量机制，其原理类似于mapreduce，即分布式的改变，然后聚合这些改变。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。