文件名称：javashuffle源码-DigAndBuried:挖坑与填坑
文件大小：573KB
文件格式：ZIP
更新时间：2024-06-24 06:42:58
系统开源
java shuffle源码 填坑与埋坑 过了一下Spark SQL对Join的支持,相对来说原理比较简单,这里简单记录一下! 开始埋坑日期:2016-8-14 坑状态:done 在spark使用过程中,除了内存,网络一些大的主题引起大家注意以外还有很多细节,是可以多注意! 比如正确的使用flatmap!,reduceByKey一定比groupByKey好吗?,后面会持续总结... 开始埋坑日期:2016-7-20 坑状态:doing Optimizer主要会对Logical Plan进行剪枝，合并等操作，从而从Logical Plan中删除掉一些无用计算，或对一些计算的多个步骤进行合并。由于优化的策略会随着知识的发现而逐渐引入，核心还是要理解原理！！ 开始埋坑日期:2016-7-10 坑状态:done Spark SQL是Spark内部最核心以及社区最为活跃的组件，也是未来Spark对End-User最好的接口，支持SQL语句和类RDD的Dataset/DataFrame接口。相比在传统的RDD上进行开发，Spark SQL的业务逻辑在执行前和执行过程中都有相应的优化工具对其进行自动
【文件预览】：
DigAndBuried-master
----Spark-Note.iml(337B)
----.gitattributes(483B)
----hbase()
--------hbase-filter.md(15KB)
--------hbase-learn.md(18KB)
--------hbase-bulk-loading.md(9KB)
----.idea()
--------misc.xml(754B)
--------thriftCompiler.xml(142B)
--------compiler.xml(711B)
--------uiDesigner.xml(9KB)
--------codeStyleSettings.xml(393B)
--------.name(10B)
--------encodings.xml(220B)
--------modules.xml(260B)
--------scopes()
--------copyright()
--------vcs.xml(169B)
----other()
--------point-estimation.md(8KB)
--------mvn-lib.md(4KB)
--------scala-java-class-type.md(10KB)
----README.md(13KB)
----hadoop()
--------hadoop-ipc.md(19KB)
--------nodemanager-container-monitor.md(11KB)
--------nodemanager-container-withrm.md(12KB)
--------datanode.md(14KB)
--------nodemanager-container-launch.md(17KB)
--------nodemanager-container-localizer.md(34KB)
--------metric-learn.md(22KB)
--------namenode-ha.md(7KB)
----image()
--------edge_cut_vs_vertex_cut.png(78KB)
--------network-rpcenv.jpg(31KB)
--------network-message.jpg(21KB)
--------job.jpg(19KB)
--------project.png(15KB)
--------hadoop-rpc.jpg(63KB)
--------BlockPoolManager.png(19KB)
--------Catalyst-Optimizer-diagram.png(122KB)
--------fsdataset.png(21KB)
--------network-client.jpg(20KB)
----.gitignore(485B)
----system()
--------disk-io.md(14KB)
--------java-memory.md(18KB)
--------cpu.md(19KB)
--------memory.md(14KB)
----spark()
--------pregel-bagel.md(20KB)
--------spark-network-netty.md(25KB)
--------scala-implicit.md(7KB)
--------spark-memory-manager.md(17KB)
--------spark-catalyst.md(27KB)
--------spark-block-manager.md(28KB)
--------spark-important-issue.md(4KB)
--------function-closure-cleaner.md(15KB)
--------mllib-pipeline.md(16KB)
--------shuffle-hash-sort.md(33KB)
--------spark-join.md(10KB)
--------shuffle-study.md(48KB)
--------spark-catalyst-optimizer.md(15KB)
--------class-from-root.md(1KB)
--------spark-experience.md(6KB)