E-MapReduce大数据安全实践

时间:2022-09-13 20:34:51

原文链接:点击打开链接

摘要: E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群,即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。

E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群,即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。

企业级安全

一个大数据集群的企业级安全,从外到内可以分为几层:

  • 边界安全

如网络的隔离,使用vpc/安全组/iptables等。

  • 认证(Authentication)

只有可信的得到合法身份认证的用户才能够访问集群。
开源组件通用的认证方案是集成Kerberos(如HDFS/YARN/HBase等),也有用户名/密码(如hue等)。

  • 授权(Authorization)

将开源组件里面的具体资源的操作权限授予用户,未被授权的用户无法访问资源。

  • 加密(Encryption)

通道/数据的加密,如HDFS存储的数据加密,数据被窃取后也无法查看等。

  • 审计(Audict)

对服务的访问操作进行监控和记录,便于排查跟踪问题。

E-MapReduce大数据安全实践

如上图所示,访问服务的用户会经过一层层的安全措施过滤,保障大数据集群的安全稳定运行。

E-MapReduce安全实践

E-MapReduce在边界安全/认证/授权/审计/加密五个维度都提供了相应的能力。

  • 边界安全

创建集群时候可选择vpc网络
集群有安全组控制开放端口
用户可根据需求在集群节点上面设置iptables

  • 认证

创建的Kerberos安全集群的开源组件自动以Kerberos方式启动,开启身份认证,不需要用户进行复杂的Kerberos配置,而且支持多种身份认证方式(如与RAM/LDAP等的结合)

具体详见E-MapReduce Kerberos文档

  • 授权

E-MapReduce集群的开源组件可按照组件的官方文档进行相关的权限配置。

可以在E-MapReduce控制台的集群配置管理页面方便的进行配置并重启各项服务,无需登录集群操作。

权限配置详见E-MapReduce 授权文档
HDFS授权
YARN授权
Hive授权
HBase授权

  • 审计

E-MapReduce集群默认开启了HDFS/HBase的audict log, 其它相关组件后续会陆续开启。

  • 加密

用户可选择启动使用HDFS的数据加密KMS服务。

有兴趣或者有需求的用户可以关注一下E-MapReduce的安全相关的功能,有问题及时联系和反馈。

E-MapReduce大数据安全实践