文件名称：pyspark-ipython-notebook
文件大小：961KB
文件格式：ZIP
更新时间：2024-06-08 15:44:22
使用PySpark设置IPython Notebook 这是关于设置环境的简要说明，该环境用于通过带有Spark v1.4.1的ipython Notebook运行pyspark。 详细的步骤与在单个节点上运行独立的spark有关。 如果您希望在亚马逊集群上运行，可以使用spark的ec2脚本在Amazon EC2上运行，或者直接创建EMR作业并通过AWS Web控制台选择Spark作为附加组件。 要求 Java 1.7或更高版本 Maven或简单构建工具（sbt） 安装Spark 从下载最新的spark（截至2015年7月为1.4.1）。我选择了spark-1.4.1.tar 提取tar文件 tar -xvf spark-1.4.1.tar 根据README.md生成火花。 或者，您可以根据需要下载预构建版本，也可以跳过此步骤。 mvn clean package -Dski
【文件预览】：
pyspark-ipython-notebook-master
----data()
--------bank-additional-names.txt(5KB)
--------bank-additional-full-data.csv(4.66MB)
--------bank-additional.zip(434KB)
----Spark-vs-R-pearson.png(17KB)
----LICENSE(11KB)
----spark-dataframes-and-ml-pipelines-11-638.jpg(33KB)
----README.md(3KB)
----spark-pyspark-mllib-101.ipynb(177KB)