DW(二):SqlServer PDW

时间：2022-04-02 13:23:14

当微软发布第一个SQL Server并行数据仓库R2时（SQL ServerParallel Data Warehouse，即PDW），已正式将产品的名称修改为分析服务平台（APS），但在一些非正式场合，仍然保留了PDW的叫法

目录：

  • APS简介
  • APS特性
  • NEC一体机
  • 戴尔数据库一体机
  • 小结

APS简介

  • 2014年4月推出了APS（Analytics Platform System），也称为PDW（ParallelData Warehouse）；
  • 微软分析平台系统APS是一个集成了结构化和非结构化数据的数据仓库平台
  • 有戴尔、惠普、Quanta（广达）、NEC提供了基于APS的一体机，而微软是客户获得硬件和软件支持唯一联系方。因此，作为一个数据仓库设备，APS提供了单位存储空间最低价格的用户可用存储（压缩后）
  • APS一体机是一个针对现代数据仓库需求的高性能和可扩展的并行处理设备。
  • APS一体机上集成了SQLServer PDW软件（SQL Server专门为了在APS中运行的大规模并行处理版本）和一个可选的HDInsightHadoop 平台（基于HDP的Windows版微软Hadoop产品）
  • APS的大数据功能及其包含的PolyBase支持使用标准的SQL查询去访问Hadoop数据和加入关系型数据，而不需要将数据预加载到数据仓库中
  • 这种在传统数据仓库和大数据部署环境之间实现的无缝整合使APS成为一个主流的企业级大数据平台

APS特性

  • 它是一个大规模并行处理设备?（指aps的一体机）,可以并行和分布的方式去处理高度并发和复杂度的查询
  • SQL Server PDW运行在APS设备之内，它使用内存内可更新的行存储索引去改进了数据加载和查询响应时间，最多比传统数据仓库系统高50倍
  • APS在软件中内置了可靠、可扩展和高性能的存储特性，它们降低了硬件成本——而且它内置了支持容错的硬件冗余性
  • APS提供了内存内可更新的字段存储索引，支持高达15倍的数据压缩率，最高可以节省70%的存储需求。
  • APS是一个基于机架的系统，因此不会过多购买容量，一开始可以只使用四分之一的机架，它支持修改设备容量大小，然后将来在需要时可以使用传统SQL Server系统横向扩展的相同工具来扩展它的大小。

NEC一体机

  • NEC与微软合作推出了强大的SQLServer PCle SSD一体机，它支持大规模在线事务处理（OLTP）和商业智能（BI）负载。
  • 它搭配NEC Express 5800可扩展的企业级服务器系列，包含一个4U服务器，最多支持四个英特尔的Xeon E7处理器，一共有24个物理内核。
  • 服务器还带有16个可用的PCI-Express 3.0 I/O插槽和64个可用的DDR3内存插槽。
  • NEC数据库一体机不仅提供了高性能的数据处理，还预装了HGST FlashMAX II PCIe闪存。FlashMAX II是一个多层的闪存单元，这意味着每一个内存单元都能够存储多个比特位信息，同时集成了为闪存优化的硬件RAID原理。通过FlashMAX II设备，服务器可容纳8.8TB的闪存存储并提供8.2GBps的逻辑扫描速率。
  • 依照在SQL Server FastTrack Data Warehouse（FTDW）参考体系架构的概述，NEC一体机是按照最佳实践配置进行构建的，FTDW定义了一个针对硬件吞吐量最大化SQL Server数据处理的核心平衡架构，NEC一体机使用FTDW配置来平衡CPU内核与I/O通道和存储顺序I/O的能力

戴尔数据库一体机

  • 戴尔的数据库一体机也集成了来自Fusion-io的闪存技术。
  • 与NEC有所不同，戴尔一体机不是围绕着一个特定的平台构建的。相反，其重点是在企业级应用上，包括了广泛的数据库产品支持：MySQL，Sybase，Oracle数据库，SAP HANA，MongoDB，Apache Cassandra，当然也包括SQL Server 2014+
  • 戴尔一体机使用了DellPowerEdge R720 2U机架服务器，能够支持12TB闪存、40GB带宽和2.5每秒百万的IOPS。闪存是通过Fusion io Memory设备提供并且使用自适应闪回（Adaptive FlashBack）保护数据。与许多依赖存储配置的RAID闪存设备不同，自适应闪回的数据处理粒度已经提升到了数据块级别，它简化了管理并保证了业务连续性。
  • 当结合了Fusion-io闪存时，PowerEdge服务器能够显著的提高数据负载的性能，同时减少延迟和I/O瓶颈。戴尔一体机可以作为一个独立产品，也可以提供包括光纤通道和无线带宽技术的高可用产品使用

小结

  • APS一体机是针对能够支持PB级别大数据处理的产品，它专门针对BI和MPP数据分析负载，能够计算进行分布式处理与并行操作，同时可以将非结构化数据融入到架构中。
  • 如果SQL Server一体机在你的考量范围内，那么根据不同的需求会为你提供多种选项。记住，这是一个快速变化的市场，在进行SQL Server一体机采购之前一定要事先做足功课。它们有很多优势，但相应的价格也很高，你一定不想采购之后才发现它并不适合你的需求

相关文章