spark-integration-tests:Spark 的集成测试

时间:2024-06-22 05:48:42
【文件属性】:

文件名称:spark-integration-tests:Spark 的集成测试

文件大小:56KB

文件格式:ZIP

更新时间:2024-06-22 05:48:42

Scala

Spark 集成测试 该项目包含基于的 Spark 集成测试,包括 Spark 独立集群管理器的容错测试。 安装/设置 安装 Docker 该项目依赖于 Docker >= 1.3.0(它可能适用于早期版本,但尚未经过测试)。 在 Linux 上 安装 Docker。 这个测试套件要求 Docker 可以在没有sudo情况下运行(参见 )。 在 OSX 上 在 OSX 上,这些集成测试可以使用运行。 首先, ,运行安装程序,然后运行~/Applications/boot2docker以执行一些一次性设置(创建 VM 等)。 这个项目已经用boot2docker 1.3.0+ 测试过。 使用boot2docker ,Docker 容器将在 VirtualBox VM 内运行,这会给 Mac 主机和容器之间的通信带来一些困难。 请按照以下说明解决这些问题: 网络访问:我们的测试当前从容器


【文件预览】:
spark-integration-tests-master
----init.sh(5KB)
----project()
--------build.properties(803B)
--------SparkIntegrationTestsBuild.scala(2KB)
--------plugins.sbt(69B)
----docker()
--------build.sh(375B)
--------kafka()
--------spark-master()
--------base()
--------spark-worker()
--------README.md(604B)
----src()
--------test()
----LICENSE(10KB)
----README.md(4KB)
----scalastyle-config.xml(7KB)
----.gitignore(77B)
----dev()
--------merge_pr.py(7KB)
--------check-style.sh(102B)

网友评论