文件名称:Docker_pyspark
文件大小:8.72MB
文件格式:ZIP
更新时间:2024-03-07 08:19:06
Dockerfile
建立基础容器 docker build -t pyspark。 此容器未安装GraphFrames软件包。 安装它的简单技巧如下所示 使用图框构建容器 使用以下方法将bash外壳放入容器中 docker run -it --rm --gpus all -v FOLDER_PATH / data /:/ mnt / pyspark / -w / mnt / pyspark / pyspark_graphframes:latest 通过指定所需的软件包来运行pyspark,迫使其下载它们 pyspark-打包graphframes:graphframes:0.6.0-spark2.3-s_2.11 使用以下方式提交容器 码头工人提交CONTAINER_NAME NEW_IMAGE_NAME 使用Graphframes运行Docker容器 如果新图像名为pyspark_graphframe
【文件预览】:
Docker_pyspark-master
----graphframes-0.6.0-spark2.3-s_2.11.jar(343KB)
----Dockerfile(3KB)
----scala-reflect-2.11.0.jar(4.22MB)
----README.md(988B)
----scala-logging-slf4j_2.11-2.1.2.jar(24KB)
----slf4j-api-1.7.7.jar(29KB)
----data()
--------run_pyspark.py(2KB)
--------Train.csv(11.1MB)
----scala-logging-api_2.11-2.1.2.jar(8KB)