【文件属性】：
文件名称：javashuffle源码-DigAndBuried:挖坑与填坑
文件大小：573KB
文件格式：ZIP
更新时间：2021-06-04 12:56:18
系统开源
java
shuffle源码
填坑与埋坑
过了一下Spark
SQL对Join的支持,相对来说原理比较简单,这里简单记录一下!
开始埋坑日期:2016-8-14
坑状态:done
在spark使用过程中,除了内存,网络一些大的主题引起大家注意以外还有很多细节,是可以多注意!
比如正确的使用flatmap!,reduceByKey一定比groupByKey好吗?,后面会持续总结...
开始埋坑日期:2016-7-20
坑状态:doing
Optimizer主要会对Logical
Plan进行剪枝，合并等操作，从而从Logical
Plan中删除掉一些无用计算，或对一些计算的多个步骤进行合并。由于优化的策略会随着知识的发现而逐渐引入，核心还是要理解原理！！
开始埋坑日期:2016-7-10
坑状态:done
Spark
SQL是Spark内部最核心以及社区最为活跃的组件，也是未来Spark对End-User最好的接口，支持SQL语句和类RDD的Dataset/DataFrame接口。相比在传统的RDD上进行开发，Spark
SQL的业务逻辑在执行前和执行过程中都有相应的优化工具对其进行自动
【文件预览】：
DigAndBuried-master
----Spark-Note.iml(337B)
----.gitattributes(483B)
----hbase()
--------hbase-filter.md(15KB)
--------hbase-learn.md(18KB)
--------hbase-bulk-loading.md(9KB)
----.idea()
--------misc.xml(754B)
--------thriftCompiler.xml(142B)
--------compiler.xml(711B)
--------uiDesigner.xml(9KB)
--------codeStyleSettings.xml(393B)
--------.name(10B)
--------encodings.xml(220B)
--------modules.xml(260B)
--------scopes()
--------copyright()
--------vcs.xml(169B)
----other()
--------point-estimation.md(8KB)
--------mvn-lib.md(4KB)
--------scala-java-class-type.md(10KB)
----README.md(13KB)
----hadoop()
--------hadoop-ipc.md(19KB)
--------nodemanager-container-monitor.md(11KB)
--------nodemanager-container-withrm.md(12KB)
--------datanode.md(14KB)
--------nodemanager-container-launch.md(17KB)
--------nodemanager-container-localizer.md(34KB)
--------metric-learn.md(22KB)
--------namenode-ha.md(7KB)
----image()
--------edge_cut_vs_vertex_cut.png(78KB)
--------network-rpcenv.jpg(31KB)
--------network-message.jpg(21KB)
--------job.jpg(19KB)
--------project.png(15KB)
--------hadoop-rpc.jpg(63KB)
--------BlockPoolManager.png(19KB)
--------Catalyst-Optimizer-diagram.png(122KB)
--------fsdataset.png(21KB)
--------network-client.jpg(20KB)
----.gitignore(485B)
----system()
--------disk-io.md(14KB)
--------java-memory.md(18KB)
--------cpu.md(19KB)
--------memory.md(14KB)
----spark()
--------pregel-bagel.md(20KB)
--------spark-network-netty.md(25KB)
--------scala-implicit.md(7KB)
--------spark-memory-manager.md(17KB)
--------spark-catalyst.md(27KB)
--------spark-block-manager.md(28KB)
--------spark-important-issue.md(4KB)
--------function-closure-cleaner.md(15KB)
--------mllib-pipeline.md(16KB)
--------shuffle-hash-sort.md(33KB)
--------spark-join.md(10KB)
--------shuffle-study.md(48KB)
--------spark-catalyst-optimizer.md(15KB)
--------class-from-root.md(1KB)
--------spark-experience.md(6KB)