hadoop集群远程作业测试

时间:2022-08-27 04:45:54

平时我们都是在本地的伪分布式环境下进行运行hadoop程序,如果条件允许有真实的集群环境的话,我们可以在本地将代码打包成jar,然后远程登陆到集群上进行测试;

一般只需要两个步骤:

假如你的jar file的目录是当前目录下的 HadoopAp/test.jar

你集群的账号是; hadoop 密码是: admin  集群服务器的地址是:114.212.80.3

假如你的jar file的目录是当前目录下的 HadoopAp/test.jar

那么先用SSH登陆到服务器:

$ssh  hadoop@114.212.80.3
hadoop@114.212.80.3‘s password: [在此输入你的密码]

然后登陆到集群之后,在当前目录创建一个文件夹用于放置我们需要测试的文件夹workspace,然后用scp拷贝本地文件:

$ scp -R HadoopAp hadoop@114.212.80.3:workspace/
之后再登陆到集群就可以查看到HadoopAp然后进行操作