1、Openstack是否提供了NUMA的入口以供我们使用?
是的,已经提供了,并且可以正常使用。
2、有哪些入口?
1) Flavor
为Flavor添加元数据,即extra-specs,通过设置以下几种关键字:
hw:numa_nodes=NN - VM中NUMA的个数
hw:numa_mempolicy=preferred|strict - VM中 NUMA 内存的使用策略
hw:numa_cpus.0=<cpu-list> - VM 中在NUMA node 0的cpu
hw:numa_cpus.1=<cpu-list> - VM 中在NUMA node 1的cpu
hw:numa_mem.0=<ram-size> - VM 中在NUMA node 0的内存大小(M)
hw:numa_mem.1=<ram-size> - VM 中在NUMA node 1的内存大小(M)
2) Image
为Image添加元数据,即Image的metadata,通过设置以下几种关键字:
hw_numa_nodes=NN - numa of NUMA nodes to expose to the guest.
hw_numa_mempolicy=strict|prefered - memory allocation policy
hw_numa_cpus.0=<cpu-list> - mapping of vCPUS N-M to NUMA node 0
hw_numa_cpus.1=<cpu-list> - mapping of vCPUS N-M to NUMA node 1
hw_numa_mem.0=<ram-size> - mapping N MB of RAM to NUMA node 0
hw_numa_mem.1=<ram-size> - mapping N MB of RAM to NUMA node 1
以下是openstack接口文档中对Flavord extra-specs 和 image metadata所提供的接口截图,接口文档可在openstack官网获取。
3. openstack代码中,处理NUMA的地方在哪里?
对NUMA相关数据的解析和处理,openstack Juno版本中,提供了以下class(在nova/virt/hardware.py文件中):
1) class VirtNUMATopologyCell(object):
NUMA单元,定义了NUMA cell内的基本数据成员。
2) class VirtNUMATopologyCellLimit(VirtNUMATopologyCell):
NUMA限制量单元,定义了NUMAcell内可以使用资源的最大限。
3) class VirtNUMATopologyCellUsage(VirtNUMATopologyCell):
NUMA使用量单元,定义了NUMA cell内已使用的资源。
4) class VirtNUMATopology(object):
NUMA拓扑单元,定义了NUMA 的基本数据成员,即cells[]
5) class VirtNUMAInstanceTopology(VirtNUMATopology):
为guest VM提供NUMA相关的操作。
6) class VirtNUMAHostTopology(VirtNUMATopology):
为Host提供NUMA相关的操作。
4. openstack代码中,用户配置的NUMA参数,在创建VM时,是怎么被处理的?
1) 创建VM时,用户在image和flavor所配置的NUMA参数,随着创建VM的参数image_href和instance_type传入。
2) 在创建VM内部,有一步“参数校验”self._validate_and_build_base_options()的操作,该“参数校验”中,有一步操作会调用VirtNUMAInstanceTopology的方法获取到guest VM的NUMA拓扑,并将其保存在base_options变量中返回。
1> 参数校验:
2> 在“参数校验”中,获取guest VM的NUMA拓扑信息:
3> 将guest VM的NUMA拓扑信息,保存到base_options,最终返回:
3) 然后,创建VM函数,会将返回的base_options,通过self._provision_instances()方法更新到instance中。
1> 调用self._provision_instances()方法:
2> _provision_instances()方法内部,将base_options更新到instance中:
4) 这样一来,用户配置的NUMA信息,就被保存到了instance中,在数据库instance_extra表中可以查到对应的信息,如下。
5) 当VM启动、恢复、迁移等需要用到NUMA信息时,就会调用到_get_guest_numa_config()方法(后续会讲到),通过该方法获取到对应VM所需要的NUMA配置。该方法内部,有一步,会从instance中,获取到对应的NUMA拓扑。
1> _get_guest_numa_config()会调用self._get_cpu_numa_config_from_instance()方法获取guest VM的NUMA拓扑。
2> 然后,内部又会调用InstanceNUMATopology的方法(在/nova/objects/instance_numa_topology.py文件内)从instance中获取到NUMA拓扑,保存到一个重要的变量guest_cpu_numa(后续会讲到)中返回。
3> InstanceNUMATopology中,从instance获取NUMA拓扑的具体函数。
5、 openstack代码中,获取guest VM的NUMA配置,并且匹配Host NUMA配置的具体流程和逻辑是什么?
How to use openstack NUMA function
(该部分以Flavor为例,已证实对于image的配置,同样有效!)
一、自动平均分配NUMA cell
1、在Dashboard中,创建Flavor,和元数据hw:numa_nodes和hw:numa_mempolicy,示例如下(这里创建的flavor名字叫“test_numa_by_num”,4 CPU,2G内存):
2、根据此flavor,创建一个VM。示例如下(这里创建的VM名字为“numa_vm_1”):
3、通过virsh命令,查看我们刚才创建的那个VM——“numa_vm_1”:
二、手动指定分配NUMA cell
1、创建Flavor,和元数据hw:numa_nodes、hw:numa_mempolicy、hw:numa_cpus.0、hw:numa_cpus.1、hw:numa_mem.0、hw:numa_mem.1,并且设置cell_0的cpu为2-3,cell_1的CPU为0-1。示例如下(这里创建的flavor名字叫“test_numa_by_specify”,4 CPU,2G内存):
2、根据此flavor,创建一个VM。示例如下(这里创建的VM名字为“numa_vm_2”):