为Hadoop上的大数据准备的统一的SQL

时间:2022-09-08 21:32:54

讲师:Xuefu Zhang (Software Engineer, Uber)

16:20–17:00 周六, 2017-07-15

数据工程和架构

地点:多功能厅6A+B

观众水平: Intermediate

议题


为Hadoop上的大数据准备的统一的SQL(Unified SQL for Big Data on Hadoop)

必要预备知识

SQL, Hadoop, Big Data

您将学到什么

SQL on Hadoop, Query Processing, GeoSpacial UDFs

描述

在Uber,我们非常依赖从收集到的大数据里学习司机和出行的信息,并用来做每日的商业决策。诸如Apache Hive和Presto这样的SQL工具被用于不同的业务场景,也包括像Vertica这样的旧有数据仓库。这些工具提供了相似但是不同的SQL句法,因此用户经常会面对切换工具所带来的挑战。更重要的是,SQL用户并不知道什么是他们业务场景下正确的工具。每种引擎都有不同特点(优点和缺点),适用于不同的任务。如果选择不恰当,查询性能和资源的使用效率都会受影响。U-SQL是由Uber工程师内部开发的工具,希望能作为未来的SQL平台,自动地解析、翻译、优化和路由用户用任何支持的查询语言写出的查询,并提供一个统一的SQL接口给那些可能根本不熟悉底层SQL引擎的SQL用户使用。


讲师介绍


Xuefu Zhang(Uber)

Xuefu Zhang is a veteran in the open source communities and spends his main efforts on Apache Hive and Pig. 

He worked in the Hadoop team at Yahoo when the majority of the development on Hadoop was still there. In addition, he spent his early career at Informatica, gaining important experience on enterprise software development, especially in ETL and data warehousing. Prior to Uber, Xuefu was the tech lead for Hive at Cloudera and led a global effort in Hive on Spark project. Working for Uber since 2016, he is the tech/team lead for SQL on Hadoop. Xuefu Zhang is an Apache member, and PMC member for Hive, Sentry, and Pig.




Strata Data Conference北京站已经打开注册系统,阅读原文可浏览截止到目前为止的讲师名单和已经确认的议题,最优惠票价期截止到5月5日为止尽快注册以确保留位

为Hadoop上的大数据准备的统一的SQL