平时我们都是在本地的伪分布式环境下进行运行hadoop程序,如果条件允许有真实的集群环境的话,我们可以在本地将代码打包成jar,然后远程登陆到集群上进行测试;
一般只需要两个步骤:
假如你的jar file的目录是当前目录下的 HadoopAp/test.jar
你集群的账号是; hadoop 密码是: admin 集群服务器的地址是:114.212.80.3
假如你的jar file的目录是当前目录下的 HadoopAp/test.jar
那么先用SSH登陆到服务器:
$ssh hadoop@114.212.80.3
hadoop@114.212.80.3‘s password: [在此输入你的密码]
然后登陆到集群之后,在当前目录创建一个文件夹用于放置我们需要测试的文件夹workspace,然后用scp拷贝本地文件:
$ scp -R HadoopAp hadoop@114.212.80.3:workspace/之后再登陆到集群就可以查看到HadoopAp然后进行操作