你創(chuàng)建的OpenStack高性能虛擬機能實現(xiàn)“零損耗”么？

2017-10-17 16:44:48 作者：云谷計算來源：開源云中文社區(qū) 評論：0 　點擊：11090

　　使用默認參數(shù)創(chuàng)建的虛擬機，虛擬機的VCPU在物理CPU不同核心之間動態(tài)調(diào)度，另外，由于Linux還可能會將軟中斷，內(nèi)存交換等進程調(diào)度到虛擬機正在使用的物理核心上，這些因素導(dǎo)致這些虛擬機相對于物理機的計算性能可能會產(chǎn)生較大的抖動，不能滿足一些對計算SLA要求很嚴格的業(yè)務(wù)，比如，很多金融業(yè)務(wù)就要求99.999%的請求處理時間延時不得高于1毫秒。

　　高性能虛擬機

　　為了減少 Linux 和 Hypervisor 對虛擬機的影響，讓虛擬機的性能接近物理機，一般可以采用如下優(yōu)化手段：

CPU 綁核（pin）：將虛擬 CPU 和物理 CPU 逐一綁定起來，這樣不同虛擬機的VCPU各自運行在不同的物理核心上，不會相互影響。
CPU隔離（isolate）：將虛擬機使用的物理 CPU 從 Linux 隔離出來，Linux Kernel 不再調(diào)度任何應(yīng)用甚至是任何系統(tǒng)進程到這些 CPU 上，盡量讓這些CPU 100%為虛擬機使用。
CPU拓撲（Topology）： CPU 分配盡量不要跨 NUMA ，如果必須要跨NUMA，將 NUMA 拓撲結(jié)構(gòu)呈現(xiàn)給 Guest OS ，同時也把 SMT 拓撲結(jié)構(gòu)呈現(xiàn)給 Guest OS 。

　　OpenStack 環(huán)境

OpenStack Mitaka：Mitaka 現(xiàn)在運行的很好，新版本的 Cell 機制甚至?xí)䦟?dǎo)致一些不可預(yù)料的結(jié)果，我們一直沒有冒險去做升級投入。
CentOS 7.3：OpenStack Mitaka 在 CentOS 7.4 的 repo 里面已經(jīng)找不到了，應(yīng)該是停止支持了，由于擔(dān)心一些不必要的包依賴問題，我們繼續(xù)使用 CentOS 7.3 。
QEMU： CentOS 7默認的qemu 1.5版本非常老，會導(dǎo)致compute節(jié)點的resource_tracker不能上報numa_topology到controller節(jié)點，導(dǎo)致NUMATopologyFilter無法調(diào)度，所以必須升級到2.6。

　　升級qemu到2.6

　　計算節(jié)點配置

　　使用numactl查看下主機的numa拓撲結(jié)構(gòu)，比如下面的輸出說明 cpu 0-3 在一個numa node上，而 cpu 4-7 在另一個 numa node 上：

　　numactl --hardware

　　比如，我們希望將2，3， 6，7隔離出來，專門給虛擬機用，盡量讓Linux不要將任何用戶進程和系統(tǒng)進程調(diào)度到這些cpu上。

　　首先，編輯/etc/nova/nova.conf，配置這臺主機能用來創(chuàng)建VM的cpu為2，3，6，7：

　　vcpu_pin_set=2，3，6，7

　　然后，編輯/boot/grub/grub.conf：

　　grub.conf

isolcpus：不要將任何應(yīng)用和系統(tǒng)進程（softirq， swap.……）調(diào)度到指定的CPU上；
nohzfull： 指定的CPU上沒有時鐘中斷；
rcunocbs：不要在指定的CPU上調(diào)度執(zhí)行rcb callbacks；

　　最后，重啟主機生效。

　　控制節(jié)點配置

　　修改/etc/nova/nova.conf，將調(diào)度過濾器NUMATopologyFilter加入到scheduler_default_filters：

　　scheduler_default_filters=RetryFilter，AvailabilityZoneFilter，RamFilter，ComputeFilter，ComputeCapabilitiesFilter，ImagePropertiesFilter，CoreFilter，NUMATopologyFilter

　　然后，重啟nova-scheduler服務(wù)

　　systemctl restart openstack-nova-scheduler.service

　　創(chuàng)建支持cpu pin的flavor：

　　openstack flavor set m1.large --property hw:cpu_policy=dedicated --property hw:cpu_thread_policy=require

　　CPU-POLICY ：

　　shared： （默認）VCPU會在PCPU上任意漂移；

　　dedicated： VCPU會綁定在指定的PCPU上；

　　CPU-THREAD-POLICY ：

　　prefer： （默認） VCPU會優(yōu)先選擇同一核心上的超線程。

　　isolate： VCPU會選用不同核心的超線程。

　　require： VCPU優(yōu)先選擇同一核心上的超線程，如果主機的BIOS超線程沒有開啟，就會報告失敗。

　　除了hw:cpu_policy和hw:cpu_thread_policy，這里還可以定義hw:numa_nodes，hw:numa_cpus.N，hw:numa_mem.N等NUMA策略。