pyspark-cassandra:帮助使用 PySpark 和 Cassandra 的实用程序和示例

时间:2024-07-12 06:53:31
【文件属性】:

文件名称:pyspark-cassandra:帮助使用 PySpark 和 Cassandra 的实用程序和示例

文件大小:8.03MB

文件格式:ZIP

更新时间:2024-07-12 06:53:31

Python

pyspark-cassandra 帮助使用 Cassandra 和 PySpark 的实用程序和示例。 当前包含使用 SparkContext 的读取和 RDD 的写入 Cassandra 2.1 的更新和更强大的示例。 演示 CQL 集合的用法: 、和 。 致力于与 DataStax Cassandra Spark 连接器的正确集成。 建造 您将需要 Maven 来构建示例所需的 uberjar。 mvn clean package 将在target/pyspark-cassandra--SNAPSHOT.jar创建一个target/pyspark-cassandra--SNAPSHOT.jar 。 与 PySpark 一起使用 spark-submit --driver-class-path /path/to/pyspark-cassa


【文件预览】:
pyspark-cassandra-master
----LICENSE.txt(11KB)
----init_datastax_spark_connector.sh(600B)
----run_script.py(856B)
----src()
--------main()
----requirements.txt(37B)
----README.md(2KB)
----pom.xml(9KB)
----.gitignore(53B)
----maven_repo()
--------spark-cassandra-connector-java-assembly-1.2.0-SNAPSHOT.jar(9.12MB)

网友评论