sql2005性能优化(在32位系统上突破2G内存使用量的方法) .

时间:2024-01-14 18:46:50

转载自http://blog.csdn.net/soldierluo/article/details/6589743

服务器磁盘为(SAS)IBM组成RAID0+1,SQL2K5只识别4G内存,实际只占用2G内存。而使用 AWE的话,应用程序可以直接将操作系统允许的最大物理内存量保留为未分页的内存。使用 AWE 使 SQL Server 可以缓存详细信息,而不用从磁盘上的系统页面文件中读取详细信息。通过更快的数据访问提高了性能并减少了访问磁盘的频率。故决定打开SQL2K5的AWE参数,将6G的内存锁定,完全给SQL使用。
  大致配置步骤如下:
  1、因服务器已打开/PAE参数,否则需在系统盘根目录下修改Boot.ini文件(去除只读属性),在=optin /fastdetect后添加/PAE参数(前面应该有空格)。(如果没有boot。ini文件的话可从其他相似的机子上拷一个过来)
  2、在windows的组策略中启用锁定内存页选项:
     a)在"开始"菜单上单击"运行"子菜单,然后在"打开"框中键入"gpedit.msc"。
     b)在"组策略"控制台上,展开"计算机配置",然后展开"Windows   设置"。
     c)展开"安全设置",然后展开"本地策略",选择"用户权限分配"复选框。
     d)在详细资料窗格中,双击"锁定内存页"。
     e)在"本地安全策略设置"对话框中,单击"添加"按钮。
     f)在"选择用户或组"对话框中,添加有权运行sqlservr.exe的帐户(administor账号即可)。
  3、启用SQLServer2K5的AWE支持。
     a)在对象资源管理器中,右键单击服务器并选择“属性”。
     b)单击“内存”节点。
     c)在“服务器内存选项”下,选择“使用 AWE 分配内存”。
     d)在对象资源管理器中,右键单击服务器并选择“属性”。
     e)单击“内存”节点。
     f)在“服务器内存选项”下,选择“使用 AWE 分配内存”。
     g)配置相应最小内存数和最大内存数。  
     同时也可以用脚本执行的方式操作:
     --当 show advanced options 设置为'1'时才能更改AWE
     sp_configure 'show advanced options', 1
   RECONFIGURE
   GO
     --启用AWE 选项
   sp_configure 'awe enabled', 1
   RECONFIGURE
   GO
     --设置最大内存为6G

EXEC sp_configure'max server memory (MB)',4800; --此值参考如下
GO
RECONFIGURE;
GO

Physical RAM                        MaxServerMem Setting
2GB                                           1500
4GB                                           3200
6GB                                           4800
8GB                                           6400
12GB                                         10000
16GB                                         13500
24GB                                         21500
32GB                                         29000
48GB                                         44000
64GB                                         60000
72GB                                         68000
96GB                                         92000
128GB                                       124000

4、注意需要重新启动SQL 服务。
  启用AWE参数后,客户端响应时间从原先1分多钟将至5秒

把和SQL Server内存和AWE相关问题的基本内容整理了一下。

1. SQL Server内存基本概念
在涉及SQL Server内存时有几个比较重要的术语:

Buffer Pool (BPool)
SQL Server使用的几个分散的地址空间,内部进程使用,包括存储编译,执行计划,创建索引,申请指针。

MemToLeave
SQL Server在启动时就保留的连续地址空间,供进程空间内的大于8KB的外部组件用,诸如扩展过程,COM/OLE自动化组件,连接服务器等。

Reserved 
保留的地址空间,以供未来使用。

Committed
进程现在使用的地址空间,可能是物理RAM也可能是页面文件空间。

Allocation
把内存资源给消费者。

SQL Server在初始化过程中干了些什么?
1. 计算并保留MemToLeave
SQL7.0是256M,SQL Server 2000是384M,2005和2008估计也差不多。
2. 检查OS支持的最小物理内存和VAS,分配以下空间:
a)buffer头
b)BPool
c)对BPool跟踪的array
3. 把LazyWriter归零
LazyWriter定期检查BPool,看是要增加还是缩减。(因为大概要间隔60秒,所以看上去比较懒。。。真形象)
4. 释放保留的MemToLeave,保证MemToLeave地址空间连续

SQL Server不会在一上来就保留Min Server Memory,但只要系统一旦达到Min Server Memory设置就不会再次低于那个设置。对于Intel系统,SQL Server至少会留4MB内存。如果达不到,那么SQL Server就会将内存释放给OS。如果没需求SQL Server不会乱吃内存,不过一般情况下也不会吐内存出来,为了避免性能明显下降。

2. VAS与AWE
当SQL Server可用的内存在3-4GB以下,SQL Server可以完全用Virtual Address Space(虚拟地址空间,VAS)。2G为用户模式用,2G为系统(内核模式)用。就是说在这种情况下SQL Server最多用2GB内存(当然因为还有其他应用程序,一般只能用不到2G,比如1.6G)。例如在我的32位测试机上,运行DBCC MemoryStatus,结果如下:
Memory Manager KB
VM Reserved 1683800
VM Committed 293084
保留的virtual address space为1.68GB左右,占用的为290MB左右。

对于3G以上内存的机器就要用AWE(Address Windowing Extensions),允许映射到额外的内存上,上限64GB。

应用了AWE,从Task Manager看,SQL Server进程始终只用了256MB内存,被AWE用的内存不显示。所以看SQL Server占用的内存最方便的方法是在性能监视器(Performance Monitor)中的SQLServer: Memory Manager - Total Server Memory (KB)。

也可以通过DBCC MEMORYSTATUS或如下查询来查看:
SELECT * FROM sys.dm_os_performance_counters
WHERE counter_name IN ('Target Server Memory (KB)','Total Server Memory (KB)')

Target Server Memory (KB)就是最多可以吃多少,Total Server Memory (KB)就是目前吃了多少。

SQL Server进程占用率也可以用下面的查询:
SELECT *
FROM sys.dm_os_ring_buffers
WHERE ring_buffer_type = 'RING_BUFFER_RESOURCE_MONITOR'

启用AWE有三步:
1. 在boot.ini内增加/pae 允许Windows Server访问更多内存(最多16GB)
2. 给SQL Server进程赋予“Lock Pages in Memory”
3. 将配置中的“AWE Enabled”设置为1

对于Windows Server 2003,如果启用了AWE,SQL Server总是会使用它并动态管理。在启动时它会分配用作启动工作负载的内存,接着就会看自己的需求有多少内存吃多少,直到到达“Max Server Memory”。如果SQL Server遇到内存压力,会尽可能释放内存,直到“Min Server Memory”。

建议设置“Max Server Memory”以保证其他进程有内存用,对于32GB内存的可以留2G,对于64GB内存的可以留4G。如果同时有多个实例存在,更需要防止一个实例吞掉了过多内存。

AWE对于64位机器不是必须的。不过还是建议给运行SQL Server进程的用户帐号“Lock Pages in Memory”权限,

防止SQL Server内存不够写就写到磁盘上。对于64位服务器,默认使用AWE,所以如下查询可能会返回非零值:
Select sum(awe_allocated_kb) / 1024 as [AWE allocated, Mb]  
From sys.dm_os_memory_clerks
目的是避免working set trimming。

3. SQL Server内存问题
当配置SQL Server时,知道它如何应对内存压力非常重要。内存压力分为两大类:VAS和物理内存。物理内存压力直接从OS就可以看出来,因此也可以称作外部内存压力。也可能是它自己的进程导致的,因此也可以称作内部内存压力。

SQLOS管理内存压力的整体架构如下:
                                              Resource Monitor
                                                  /         |         \
Low Physical Internal/External      Low VAS        High Physical Internal/External |

Resource Monitor(RM)是一切的核心,一有动静马上获知,广播到memory clerks。

先暂时整理到这里。

之所以研究这个问题是由于一个case,客户的64位SQL Server会出现AWE Allocated突然从6G(MAX Server Memory)跌到2G(Min Server Memory),再过了数个小时之后SQL Agent出现Virtual Memory Too Low导致任务失败。我研究了很长时间也没有获得结论,只好Escalate掉。目前楼上Team的工程师怀疑是系统的问题导致强制回收内存,让客户使用perfmon log和adplus(ADPlus 是 Microsoft 产品支持服务 (PSS) 提供的一个工具,它可以解决停止响应(挂起)或失败(崩溃)的任何进程或应用程序的问题。)收集系统的信息。
还有另外一个也是和内存有关的case,客户机器的4G内存莫名其妙地被SQL Server进程吃掉了2.9G,但进程占用的CPU占用,想知道是为什么。这个现在正在帮忙收集信息中。客户好像关于这个了解的比我还少,能稍微最近做的一个内存紧张一个Report Viewer优化一个Data Mining都没能解决在拖了很久之后只好Escalate,真受打击。。。好吧,专心做剩下的Discuz!NT的case,知道自己几量重后只好用努力来弥补了