云工具的增加和需要处理大量原始数据促使市场对数据工程师的需求大增。数据工程师构建数据管道，还是数据基础架构设计和算法开发的主力。数据工程师对于提高数据对公司的用途至关重要。
为了构建如此丰富的数据基础架构，数据工程师需要结合不同的编程语言、数据管理工具、数据仓库以及用于数据处理、数据分析和人工智能/机器学习的全套其他工具。
本文介绍数据工程师用于构建高效数据基础架构的十大工具。
1. Python
Python是一种流行的通用编程语言，易于学习，已成为数据工程界的事实标准。
由于Python支持多种使用场景，尤其用于构建数据管道，称得上是编程语言界的瑞士军刀。数据工程师使用Python编写ETL框架、API交互、自动化以及数据处理任务(比如调整、聚合和连接不同的数据源)。
简单的语法和丰富的第三方库是Python的其他优点。最重要的是，这种编程语言有助于缩短开发时间，因而减少了公司的支出。如今，Python已是超过三分之二的数据工程师招聘岗位中一门必须知道的编程语言。
2. SQL
查询是所有数据工程师的基础。SQL(结构化查询语言)是数据工程师用来创建业务逻辑模型、执行复杂查询、提取关键性能指标以及构建可重用数据结构的关键工具之一。
SQL是最重要的工具之一，可以使用查询和数据转换技术，帮助访问、更新、插入、操作和修改数据。
3. PostgreSQL
PostgreSQL是世界上最流行的开源关系数据库。PostgreSQL受欢迎的众多原因之一是其活跃的开源社区——它也不是像DBMS或MySQL这些由公司主导的开源工具。
PostgreSQL轻量级、高度灵活、功能强大，使用对象关系模型构建而成。它提供广泛的内置和用户定义功能、庞大的数据容量以及可信赖的数据完整性。PostgreSQL专为处理大型数据集而设计，同时提供高容错性，是数据工程工作流程的理想选择。
4. MongoDB
MongoDB是流行的NoSQL数据库。它易于使用，高度灵活，可以大规模存储和查询结构化和非结构化数据。NoSQL数据库(比如MongoDB)因能够处理非结构化数据而大受欢迎。不像采用僵硬模式的关系数据库(SQL)，NoSQL数据库要灵活得多，并以易于理解的简单形式存储数据。
分布式键值存储、面向文档的NoSQL功能和MapReduce计算功能，这些功能使MongoDB成为处理海量数据的上佳选择。数据工程师常处理大量未处理过的原始数据，使MongoDB成为保留数据功能并支持横向扩展的典型选择。
5. Apache Spark
如今的企业了解捕获数据并使数据在组织内快速可用的重要性。流处理让您可以实时查询连续的数据流，包括传感器数据、网站上的用户活动、来自物联网设备的数据及金融交易数据等数据。Apache Spark代表了这样一种流行的流处理实现。
Apache Spark是一种开源分析引擎，以大规模数据处理功能出名，它支持多种编程语言，包括Java、Scala、R和Python。Spark可以在微批中处理TB级数据流，并使用内存中缓存和经过优化的查询执行。
6. Apache Kafka
与Apache Spark相似，Apache Kafka是一种开源事件流平台，可用于数据同步、消息传递和实时数据流等应用环境。Apache Kafka因构建ELT管道而流行，并广泛用作数据收集和提取工具。
Apache Kafka是一种简单、可靠、可扩展的高性能工具，可以快速将大量数据流式传输到目标。
7. Amazon Redshift
在现代数据基础架构中，数据仓库不仅限于数据存储角色。Amazon Redshift是个典例，这是一种完全托管的基于云的数据仓库，用于大规模存储和分析数据。
Redshift易于使用标准SQL，跨数据仓库、操作数据库和数据湖，查询和合并大量结构化和半结构化数据。它还使数据工程师可以在数小时内轻松集成新数据源，从而缩短了获取洞察力的时间。
8. Snowflake
Snowflake是一种流行的基于云的数据仓库平台，为企业提供单独的存储和计算选项、支持第三方工具和数据克隆等。Snowflake可以轻松地提取、转换和交付数据以获取更深入的洞察力，有助于简化数据工程活动。
有了Snowflake，数据工程师不必担心管理基础架构和并发处理等问题，可以专注于其他有价值的活动以交付数据。
9. Amazon Athena
Amazon Athena是一种交互式查询工具，可帮助您分析存储在Amazon S3中的非结构化、半结构化和结构化数据。您可以使用Athena，利用标准SQL对结构化和非结构化数据执行临时查询。
Athena完全采用无服务器技术，这意味着无需管理或搭建任何基础架构。使用Athena，您不需要复杂的ETL作业即可将数据准备用于分析。这使数据工程师或拥有SQL技能的任何人都可以轻松地立即分析大型数据集。
10. Apache Airflow
随着现代数据工作流程中出现多种云工具，管理不同团队之间的数据并充分发挥数据的潜力变得越来越困难。作业编排和调度工具竭力消除数据孤岛、简化工作流程，并使重复性任务自动化，以便IT部门可以快速高效地行动。Apache Airflow向来是数据工程师们用于编排和调度数据管道的青睐的工具。
Apache Airflow通过高效的任务调度，帮助您构建现代数据管道。它提供了丰富的用户界面，可以轻松地显示生产环境中运行的管道、监测进度，并在需要时排查问题。
原文标题：Top 10 Tools for Data Engineers，作者：Savia Lobo
原文地址：https://bigdata.51cto.com/art/202104/660424.htm