本机环境：
spark2.4.4，
miniconda默认安装的最新python 3.9
运行 bin/pyspark时报错如下：
[root@hdp01 spark2.4]# pyspark --master local[1]
Python 3.9.7 (default, Sep 16 2021, 13:09:58)
[GCC 7.5.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
Traceback (most recent call last):
File "/home/hadoop_env/spark2.4/python/pyspark/", line 31, in <module>
from pyspark import SparkConf
File "/home/hadoop_env/spark2.4/python/pyspark/__init__.py", line 51, in <module>
from import SparkContext
File "/home/hadoop_env/spark2.4/python/pyspark/", line 31, in <module>
from pyspark import accumulators
File "/home/hadoop_env/spark2.4/python/pyspark/", line 97, in <module>
from import read_int, PickleSerializer
File "/home/hadoop_env/spark2.4/python/pyspark/", line 71, in <module>
from pyspark import cloudpickle
File "/home/hadoop_env/spark2.4/python/pyspark/", line 145, in <module>
_cell_set_template_code = _make_cell_set_template_code()
File "/home/hadoop_env/spark2.4/python/pyspark/", line 126, in _make_cell_set_template_code
return (
TypeError: an integer is required (got type bytes)
网上都说时spark对最新的python版本不那么友好，需要降低 python，亲试可，问题已解决，过程如下：
本人之前安装了miniconda, 再创建一个较低版本python的虚拟环境即可
conda create -n env_name python=3.6.6(你想要的版本)
source activate env_name
此时 python -V 为 3.6.6
/bin/pyspark 为 3.6.6 且没有报错
不禁感慨，有了conda，python环境不再怕
------------------分割线--------------------
conda安装如下：
1,下载 Miniconda3-latest-Linux-x86_64.sh
下载 MIniconda
2,赋予执行权限 chmod 755 Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh （一直回车默认安装路径 或者 出现提示时 输入目标路径）
3,输入conda –V及python –V检查安装是否成功。
【出现conda:未找到命令这种错误，需要导入路径才能使用
切入miniconda3/bin , pwd查看详细路径
在~/.bashrc中添加 export PATH=“pwd指向的路径:$PATH”
保存后刷新 source ~/.bashrc，再次测试就可以了】
4,创建虚拟环境
conda create -n env_name python=3.6.8(你想要的版本)
然后在 miniconda3/env/下，生成对应的文件夹env_name
5，进入和退出虚拟环境
进入：source activate env_name 成功则控制台前面出现 （env_name）XXXX 标识
退出：conda deactivate
show 所有虚拟环境：conda env list
卸载虚拟环境 ：conda remove --name env_name --all
6，加载标准库可以使用 pip install XXX 或者 conda install XXX