文件名称:kettle的并行_集群和分区
文件大小:2.63MB
文件格式:DOCX
更新时间:2021-11-27 04:51:43
kettle的并行
kettle的并行_集群和分区当你有很多数据要处理的时候,能够有效地使用所有的计算资源是非常重要的。不管是台个人电脑,还是有数百台服务器,你都想让Kettle能尽可能的使用所有可用的计算资源,并在可接受的时间范围内获取执行结果。 在这一章节,我们将解开kettle的转换和作业在垂直扩展和水平扩展方面的秘密。垂直扩展是尽可能的使用单台服务器上的多CPU核。水平扩展是使用多台机器资源,使他们并行计算。这两种方法都是ETL子系统的一部分(#31,并行/流水线系统)。 章节的第一部分先谈谈转换内部的并行机制和多种使用其进行垂直扩展的方法。然后我们讲解怎样在子服务器集群环境下进行水平扩展转换。