文件名称:spark-hbase-ingestion:Spark HBase使用DataFrame进行读写
文件大小:67KB
文件格式:ZIP
更新时间:2024-06-06 11:55:41
Scala
使用数据框的spark-hbase-ingestion / ** 转换记录以插入HBase的方法 @param记录 @param cf列族 @返回 */ def toHbaseRecords(记录:Array [(String,Array [(String,String)])],cf:String):RDD [(Array [Byte],Array [(Array [Byte],Array [Byte],Array [Byte) ])])] = {sc.parallelize(records.map(x =>(ct(x._1),x._2.map(x =>(ct(cf),ct(x._1),ct( x._2)))))))} / ** HBase表中插入大容量rdd的方法 @param tableName @param rdd * / def toHbaseBulkPutRDD(t
【文件预览】:
spark-hbase-ingestion-master
----.gitignore(9B)
----.cache-main(20KB)
----src()
--------main()
--------test()
----.classpath(1KB)
----.settings()
--------org.eclipse.m2e.core.prefs(90B)
--------org.eclipse.core.resources.prefs(193B)
--------org.eclipse.jdt.core.prefs(243B)
----pom.xml(8KB)
----.cache-tests(27KB)
----README.md(6KB)
----.project(631B)