Linux下远程连接Jupyter+pyspark部署教程

时间:2022-02-06 15:59:00

博主最近试在服务器上进行spark编程,因此,在开始编程作业之前,要先搭建一个便利的编程环境,这样才能做到舒心地开发。本文主要有以下内容:

1、python多版本管理利器-pythonbrew
2、jupyter notebooks 安装与使用以及远程连接方法
3、jupyter连接pyspark,实现web端sprak开发

一、python多版本管理利器-pythonbrew

在利用python进行编程开发的时候,很多时候我们需要多个python版本进行测试,博主之前一直在python2.x和3.x之间徘徊挣扎,两者纠缠不清的关系真是令博主心累了一万年。直至遇到了pythonbrew,它在博主心中泛起的涟漪,久久不能逝去。说到pythonbrew,它是一个python的多版本管理器,可以在多个 python之间迅速切换,也可以在指定的 python 版本下测试python程序,更重要的是它还整合了 virtualenv。所以,当你的电脑里装了多个python版本,并需要经常切换测试时,pythonbrew就非常适合你。

1.安装配置pythonbrew

?
1
2
sudo easy_install pythonbrew(easy_install安装)
pip install pythonbrew(pip安装)

2.添加配置环境到~/.bashrc(或~/.bash_profile)

?
1
[[ -s "$home/.pythonbrew/etc/bashrc" ]] && source"$home/.pythonbrew/etc/bashrc"

然后执行:source ~/.bashrc(或~/.bash_profile)

3.查看系统可以安装的python版本

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[ray@hadoop01 ~]$ pythonbrew list -k
# pythons
python-1.5.2
python-1.6.1
python-2.0.1
python-2.1.3
python-2.2.3
python-2.3.7
python-2.4.6
python-2.5.6
python-2.6.9
python-2.7.10
python-3.0.1
python-3.1.5
python-3.2.5
python-3.3.5
python-3.4.3

4.安装python

(ps:需要使用curl安装python,所以需要先安装curl)

?
1
[ray@hadoop01 ~]$ pythonbrew install 3.2.3(版本号)

5.清理安装后的版本的源码和安装包

?
1
[ray@hadoop01 ~]$ pythonbrew cleanup

6.选择一个python版本使用,ps:只在当前终端有效

?
1
[ray@hadoop01 ~]$ pythonbrew use 2.7.10(版本号)

7.查看当前pythonbrew下的python版本有哪些(后面有*号表示正在使用)

?
1
2
3
[ray@hadoop01 ~]$pythonbrew list
python-2.6.7 (*)
python-3.2.3

8.选择python3.4.3版本作为系统默认版本使用,会把该版本的路径添加到path中

?
1
[ray@hadoop01 ~]$ pythonbrew switch 3.4.3

9.取消pythonbrew选择的版本

?
1
[ray@hadoop01 ~]$ pythonbrew off

二、jupyter notebooks 安装与使用以及远程连接方法

作为一只数据分析狮,利用python进行数据分析编程要的就是优雅和细致。如果还能随时随地利用任何终端进行数据分析,那不仅是高逼格,更是乐翻天了。而jupyter notebook便是能帮助我们在web端做开发编程的利器。本节将介绍如果安装使用jupyter,以及如何远程连接到服务器端的jupyter notebook。

1.安装jupyter

?
1
[ray@hadoop01 ~]$ pip install jupyter

2.jupyter notebook远程服务器配置

1)首先要生成密码,打开python终端。

?
1
2
3
4
5
6
7
in [1]: from ipython.lib import passwd
 
in [2]: passwd()
enter password:
verify password:
out[2]: 'sha1:0e422dfccef2:84cfbcb
b3ef95872fb8e23be3999c123f862d856'

2)接下来生成秘钥:

?
1
[ray@hadoop01 ~]$ openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem

注意:这里会要求你需要一些个人信息,如:国家、省份、名字等。执行完命令后,会生成一个mycert.pem文件。记下这个文件的路径。

3)创建一个服务器配置

?
1
[ray@hadoop01 ~]$ ipython profile create nbserver

编辑文件jupyter_notebook_config.py,在~/.jupyter/文件夹里

?
1
2
c.notebookapp.password = u'sha1:。。。。。。。。。。。' c.notebookapp.certfile = u'/root/.jupyter/mycert.pem' c.notebookapp.ip = '*'
c.notebookapp.port = 9999

4)最后启动服务器:

?
1
[ray@hadoop01 ~]$ipython notebook --profile=nbserver

三、jupyter连接pyspark,实现web端sprak开发

在进行这步操作之前,必须先安装好jupyter、spark。

1.设置环境变量

将一下代码添加到~/.bash_profile(或者~/.bashrc)

?
1
2
3
4
5
export spark_home=~/spark-1.5.0-bin-hadoop2.6
export path=$spark_home/bin:$path
 
export pythonpath=$spark_home/python/:$pythonpath
export pythonpath=$spark_home/python/lib/py4j-0.8.2.1-src.zip:$pythonpath

注意:

1).spark_home的地址是你sprak的安装目录,另外在最后一行代码中,py4j-0.8.2.1-src.zip可能会因版本不同而不同,请进入对应地址确认好该文件的名字。

2).如果要使用python3进行作业,则需要在.bash_profile中添加 export pyspark_python=python3

2.启动pyspark-jupyter

ipython_opts="notebook"$spark_home/bin/pyspark

至此,所以配置全部完成。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持服务器之家。

原文链接:https://blog.csdn.net/RayCchou/article/details/51273117