hive-bigquery-storage-handler:用于BigQuery和Apache Hive之间互操作性的Hive存储处理程序

时间:2024-02-24 00:47:37
【文件属性】:

文件名称:hive-bigquery-storage-handler:用于BigQuery和Apache Hive之间互操作性的Hive存储处理程序

文件大小:35KB

文件格式:ZIP

更新时间:2024-02-24 00:47:37

bigquery google hive hadoop gcp

Hive-BigQuery StorageHandler 这是一个Hive StorageHandler插件,可让Hive与BigQuery进行交互。 它允许您保留现有管道,但可以迁移到BigQuery。 它利用高吞吐量读取数据,并使用BigQuery API写入数据。 在Google Cloud Platform的Dataproc集群下执行以下步骤。 如果您需要在集群中运行,则需要为Hadoop设置Google Cloud SDK和Google Cloud Storage连接器。 获取StorageHandler 从GitHub签出。 使用新的Google 构建 git clone https://github.com/GoogleCloudPlatform/hive-bigquery-storage-handler cd hive-bigquery-storage-handler mvn clean install 部署Hive-BigQuery-storage-handler-1.0-shaded.jar 使用StorageHandler访问BigQuery


【文件预览】:
hive-bigquery-storage-handler-master
----Dockerfile(53B)
----.gitignore(975B)
----README.md(7KB)
----pom.xml(10KB)
----LICENSE(11KB)
----cloudbuild.yaml(1021B)
----CONTRIBUTING.md(1KB)
----src()
--------test()
--------main()

网友评论