Hue中spark实现提交运行源码过程
一．简介
1.1 Hue notebook
在Hue3.8版本之前，spark是以UI组件进行展示的。在3.8版本之后，为了支持不同语言例如python，scala并提供一个类似REPL（类似于一个终端可以编辑所有变成语言）的环境。Hue提供了notebook组件并将关于spark的运行逻辑放置在notebook UI中执行。为了执行Spark作业，需要安装Livy服务器。
1.2 Spark Livy Server
为了执行Spark Job，Hue提供了执行服务器Livy，加强了Hue notebook对spark的支持。它类似于Oozie hadoop工作流服务器，对外提供了Rest Api，客户端将spark jar以及配置参数传递给livy，livy依据配置文件以及参数执行jar。
P.s. livy出现时间不长，维护的版本才到0.2.0。并没有Oozie成熟，直接使用作为spark server 感觉坑会比较多。
二．配置Livy
livy在Hue中自带源码，位置在${HUE_PATH}/apps/spark/java下，进行编译后执行（可能会有日志jar包不存在报错，修改classpath并添加）。
在运行成功后，可以对livy服务器发送Rest请求并执行scala，spark Job等。具体的配置路径可以查看livy的github（https://github.com/cloudera/livy）。
三．Hue中notebook提交Spark Job的源码实现
为了方便阅读，按照操作的步骤进行解读：
3.1打开notebook页面
发送请求：http://{Livy_IP}:{Livy_port}/notebook/new
源码（desktop/libs/notebook/views/new）,在这个方法中主要验证了当前的运行环境是否是yarn。之后会返回包含notebook_id的json数据渲染notebook.mako。进入notebook页面如下：
3.2点击UI
当点击+后产生notebook的代码片段输入部分。根据Hue的Session对象在Livy服务器中生成一个session，以后如果session一直保存则无需再调此接口。发送请求：/notebook/api/create_session
源码（desktop/libs/notebook/api/create_session），该方法的执行流程：首先它会根据点击的按钮调用notebook.connectors，这是个工厂模式，返回不同链接的api。
包含链接的api如上。在这主要以sparkApi做为例子。以这个接口做为对象调用相应的createSession方法。调用了Livy中的/session接口，POST形式发送的Request Body为一些配置信息，这些信息是从Hue的Session中获取，进行加工后传输给Livy。最终会在Livy服务器中生成对应的Session，客户端通过返回的id值获取此Session。
在Livy中用户的操作都是通过session进行，未来开发需要对此session进行有效的管理（由于此Session都是存储在Livy服务器上，未来开发需要将session的内容同步到本地上来，防止服务器session丢失以至于丢失用户以往的工作内容）。
3.3 切换不同的语言状态
发送请求：/notebook/api/autocomplete/
源码（desktop/libs/notebook/api/autocomplete）这里会依据不同的输入参数修改链接的内容，比如如果选择DB操作，在这个方法中首先会对数据库进行连接。Spark的相关操作在这并不做修改。
3.4提交作业
以Spark Submit Job做为例子：
主要输入参数为Path，Main-class以及arguements。其中Path为jar所在的位置，最好放置在HDFS中进行执行。可以从本地上传。
3.5执行
在这个页面点击执行的时候测试有点bug主要是执行按钮为不可选，切换到别的编辑模式再换回来才可执行。
发送请求：/notebook/api/execute
源码（desktop/libs/notebook/api/execute）。在这个方法中。执行的主要语句为response['handle'] = get_api(request, snippet).execute(notebook, snippet)在这句话中，首先使用get_api依照2步骤中获取指定类别的API。然后执行 该接口中的execute方法。
SparkApi接口中的执行该方法，去操作notebook和snippet这两个对象。这两个对象是用于确定session的。
最终以api中的HttpClient发送post请求到livy服务器中，发送的url为
Session/{uuid}/statements。Uuid为session对象中的ID属性值；发送的Data对象为snippet中的statement的数据（也就是执行的语句）和notebook对象（包含了执行的properties）。
3.6执行期间被调用的其他接口
(1)当运行job时会调用check_status接口（notebook/api/check_status）。
这样同样会通过rest接口请求livy服务器中的执行的一系列语句的结果。这是一个GET请求，返回状态。
如果状态为failed或者expire可能会抛出异常，需处理。
(2)fetch_result_data会返回当前session的所有执行的语句，以list进行展示。调用的接口为(notebook/api/fetch_result_data)。
以GET形式发送给Livy url为sessions/{session}/statements
(3)jobs接口（jobbrowser/views/jobs），获取有关于当前用户执行的job的log日志。这是一个定时的任务接口，如果有任务正在进行中，会不断的向livy服务器发送请求获取当前session用户执行job的日志。从logs可以找出有哪些job_id，最终根据这些jobs获取job的详细信息，并返回。
以GET形式进行发送，url为sessions/{uuid}/logs，其中uuid为当前session的唯一标识符。
四．总结
Hue在提交并执行作业的时候使用的是Oozie和Livy服务器，将Hue做为一个client进行开发，将封装好的数据通过RestApi发送给两种服务器进行作业的提交，执行和管理。
但是相较于Oozie，Livy并不包含DAG图，所以在执行Spark作业的时候多节点直接可能无法产生依赖，无法保证执行的次序。目前调研看来，Spark作业最好为单节点，或者无依赖的链表形式执行。
P.S. spark sql的操作是在HIVE中执行，在运行前需要保证Thrift Server有效运行，Hue会把hivesql之间发送给sparksql的ThriftServer