文件名称：Streaming开发注意事项-hadoop基础培训ppt
文件大小：1007KB
文件格式：PPT
更新时间：2024-05-15 15:15:20
大数据hadoop
Streaming开发注意事项 1.程序本身的健壮性 2.注意-mapper和-reducer的路径要用绝对路径 3.map/reduce脚本要有可执行属性。 4.map/reduce脚本的简单语法层面的调试: cat input.txt|./map.py|sort|./red.py 5. map/reduce脚本的线上小部分数据进行简单测试。 6.关注hadoop的Job输出结果和Job运行界面。 7.保存Job输出结果的完美解决方案(nohup 命令字符串 &)。 8. mapper或reducer程序在遇到从标准输入读到EOF，读标准输入异常，pipe broken异常，写标准输出异常，写标准错误异常时，应该主动退出。 9. 处理中文,源输入文件必须是utf-8格式(平台硬编码问题)。