言歸正傳，下面介紹 vSAN 雙活（也即 Virtual SAN Stretched Cluster）。自從 vSAN 雙活推出了，國(guó)內(nèi)已經(jīng)陸陸續(xù)續(xù)不少用戶使用了，甚至有些用戶在上面運(yùn)行 Oracle、ERP 等關(guān)鍵應(yīng)用。

　　這個(gè)存儲(chǔ)雙活的項(xiàng)目，其實(shí) VMware 介入的比較晚，此前已經(jīng)有存儲(chǔ)硬件雙活的方案推薦給用戶了。得益于當(dāng)?shù)氐?VMware 同事的推薦，用戶從成本、管理等方面進(jìn)行綜合考慮，最終選擇了存儲(chǔ)軟件雙活也即 VMware vSAN 延伸集群。

　　青島農(nóng)業(yè)大學(xué)的老師在 vFORUM 2016 中國(guó)大會(huì)上親自演講：

　　vSAN 6.6 新增的 23 個(gè)特性中，最亮眼的幾個(gè)之一，一定包含雙活新特性。在此之前，大家知道，VMware 只支持 FTT=1，兩副本分別存放在數(shù)據(jù)中心的兩個(gè)不同站點(diǎn)。這樣確實(shí)有不方便的地方，舉個(gè)例子，A 站點(diǎn)的 H11 出了故障，虛機(jī)就必須利用 vSphere HA 在 B 站點(diǎn)的 H21 上啟動(dòng)。如果在 A 站點(diǎn)本地還有冗余數(shù)據(jù)，就不用那么費(fèi)神了。vSAN 6.6 在雙活上新的增強(qiáng)就解決了這個(gè)問題，不僅如此，還有更出色的表現(xiàn)。

　　跨站點(diǎn)的冗余特性，對(duì)應(yīng)的存儲(chǔ)策略是 Primary Failures to Tolerate （縮寫為 PFTT） ，它的值可以設(shè)置為 1，或者為 0。設(shè)置為 1 時(shí)，表示跨站點(diǎn)做鏡像；設(shè)置為 0 時(shí)，表示只在一個(gè)站點(diǎn)上有副本，其使用場(chǎng)景后面會(huì)介紹。

　　站點(diǎn)內(nèi)的冗余特性，對(duì)應(yīng)的存儲(chǔ)策略是 Secondary Failures to Tolerate （縮寫為 SFTT ），它的值可以設(shè)置為 0 到 3 。

　　 vSAN 6.6 雙活 之 PFTT 和 SFTT

　　這樣，即使發(fā)生站點(diǎn)級(jí)故障時(shí)，剩余站點(diǎn)仍具本地的數(shù)據(jù)冗余，提高了可用性。以跨站點(diǎn)的 RAID 1+本地的 RAID 1，也即 SFTT=1 且 PFTT=1 為例，雖然一份數(shù)據(jù)共有 4 份副本，存儲(chǔ)利用率只有 25%。但針對(duì)關(guān)鍵業(yè)務(wù)應(yīng)用，犧牲一些存儲(chǔ)利用率，換取更高的可用性是非常值得的。而且，這個(gè)冗余特性是可以在 vmdk 這個(gè)級(jí)別來設(shè)置的，也就是說，一個(gè)虛機(jī)里，可以根據(jù)不同的業(yè)務(wù)特性，為不同的 vmdk 設(shè)置不同的冗余度。有不少其他 HCI 產(chǎn)品，副本個(gè)數(shù)必須在整個(gè)集群設(shè)置，就過于粗糙了，這樣它只適用于單一的業(yè)務(wù)場(chǎng)景。

　　前面提到，PFTT 還可以設(shè)置為 0 時(shí)，表示只在一個(gè)站點(diǎn)上有副本。它的使用場(chǎng)景包括，例如開發(fā)測(cè)試數(shù)據(jù)可能不需要在兩個(gè)站點(diǎn)上都有副本；或者，已經(jīng)使用應(yīng)用冗余（Exchange DAG、SQL AlwaysOn 等）的解決方案。需要注意的是，Oracle RAC 不太一樣，RAC 使用的是共享存儲(chǔ)，如果要全部層級(jí)高可用則需要在存儲(chǔ)這一級(jí)做雙活，vSAN 做為分布式的共享存儲(chǔ)，其雙活技術(shù)是可以支持 Oracle RAC。白皮書《Oracle Real Application Clusters on VMware Virtual SAN - REFERENCE ARCHITECTURE》上有更多細(xì)節(jié)。

　　微軟 Exchange DAG 和 SQL AlwaysOn，更像是服務(wù)器 +JBOD 存儲(chǔ)，在虛擬化環(huán)境里也即虛機(jī)+vmdk 的方式，兩個(gè) JBOD 存儲(chǔ)之間做鏡像。也就是說，在應(yīng)用層，就實(shí)現(xiàn)了兩份副本，這樣就不需要存儲(chǔ)層來跨站點(diǎn)做兩份副本了。所以，針對(duì)這種場(chǎng)景，需將PFTT設(shè)置為 0。SFTT 設(shè)置為多少，看用戶希望在本地站點(diǎn)得到怎樣的冗余度。

　　在 vSAN 雙活上部署 DAG 或 AlwaysOn 的時(shí)候，還需要注意 Affinity 的設(shè)置。有兩個(gè)不同層次的 Affinity，計(jì)算資源池對(duì)應(yīng)的是 vSphere DRS Affinity，而存儲(chǔ)資源池對(duì)應(yīng)的是由 SPBM 設(shè)置的，決定存儲(chǔ)組件存放位置的，與 vSAN 雙活特性相關(guān)的 Affinity。

　　白皮書《Microsoft Exchange Server on VMware vSphere》，里面清楚地提到，為了防止兩個(gè) DAG 的虛機(jī)運(yùn)行在同一個(gè) ESXi Host，也即防止單點(diǎn)故障，建議設(shè)置為 DRS anti-affinity 或者 guest-to-host affinity。原文如下：

　　Allowing two nodes from the same DAG to run on the same ESXi host for an extended period is not recommended when using symmetrical mailbox database distribution. This condition will create a single-point-of-failure scenario if the two nodes have the only copies of one or more mailbox data bases. DRS anti-affinity or guest-to-host affinity rules should be used to mitigate the risk of running active and passive mailbox databases on the same ESXi host.

　　在 vSAN 6.6 雙活的配置過程中，是在配置 SPBM，也即存儲(chǔ)策略時(shí)進(jìn)行選擇的。Affinity 可選擇的值有三個(gè)：None，Preferred Fault Domain（首選故障域），Secondary Fault Domain ，如下圖。

　　其實(shí)，Preferred 和 Secondary Fault Domain 在 vSAN 6.1（也即首次推出雙活技術(shù)的 vSAN 版本）時(shí)出現(xiàn)過。

　　設(shè)計(jì)的原則是，Exchange VM #1 的 DRS affinity 規(guī)則和 vSAN 雙活站點(diǎn)的 affinity 規(guī)則設(shè)置成，讓虛機(jī)和存儲(chǔ)（也即 vmdk 對(duì)象）都在同一站點(diǎn)，如站點(diǎn) A 上；Exchange VM #2 的 DRS affinity 規(guī)則和 vSAN 雙活站點(diǎn)的 affinity 規(guī)則設(shè)置成，讓虛機(jī)和存儲(chǔ)（也即 vmdk 對(duì)象）都在另外的同一站點(diǎn)上，如站點(diǎn) B。這兩個(gè)虛機(jī)屬于一個(gè) DAG，兩個(gè) vmdk 對(duì)象是同步的。

　　以下描述圍繞著 vSAN 6.1 版來展開。

　　在業(yè)界為數(shù)不多的存儲(chǔ)雙活方案中，VMware 在原有成本較高的存儲(chǔ)硬件廠商提供的雙活方案之外，提供了具有高可靠、低成本、更細(xì)顆粒度、操作更簡(jiǎn)單的軟件雙活方案– vSAN 延伸集群。

　　vSAN 延伸集群相當(dāng)于一個(gè) vSAN 集群橫跨兩個(gè)不同的站點(diǎn)，每個(gè)站點(diǎn)是一個(gè)故障域。和其他存儲(chǔ)硬件的雙活方案類似，兩個(gè)數(shù)據(jù)站點(diǎn)之間的往返延時(shí)少于 5 毫秒（距離一般在 100 公里以內(nèi)），另外還需要一個(gè)充當(dāng)仲裁的見證（Witness）存放在不同于兩個(gè)數(shù)據(jù)站點(diǎn)之外的第三個(gè)站點(diǎn)上。Witness 不一定是物理服務(wù)器的 ESXi 主機(jī)上，也可以運(yùn)行在第三個(gè)站點(diǎn)的虛機(jī)上，或者可以運(yùn)行在公有云上，如國(guó)內(nèi)的天翼混合云，或者 AWS、Azure、阿里云等。如下圖所示，Witness 所在站點(diǎn)與數(shù)據(jù)站點(diǎn)之間的網(wǎng)絡(luò)要求較為寬松，往返延時(shí)在 200 毫秒以內(nèi)，帶寬超過 100Mb/s 即可。

　　用 X+Y+Z 的形式表示延伸集群的主機(jī)情況，XYZ 分別代表 ABC 站點(diǎn)的主機(jī)數(shù)，A 和 B 都是數(shù)據(jù)站點(diǎn)，C 站點(diǎn)放置見證主機(jī)。當(dāng)前情況下，vSAN 延伸集群可支持最小 1+1+1 個(gè)主機(jī)，最大 15+15+1 個(gè)主機(jī)。

　　而兩個(gè)數(shù)據(jù)中心站點(diǎn)之間的帶寬，在 VMware 網(wǎng)站和博客里建議的是 10Gb/s，但實(shí)際上，只需要滿足業(yè)務(wù)需求即可，這個(gè)需求就是：

　　其中，Data mutiplier 指數(shù)據(jù)倍數(shù)，包含了 VSAN 傳輸及其他相關(guān)操作的元數(shù)據(jù)開銷。VMware 建議設(shè)為 1.4。Resynchronization 指重同步倍數(shù)，將可能的重同步的事件考慮在內(nèi)。VMware 建議規(guī)劃帶寬的時(shí)候，在最大帶寬基礎(chǔ)之上，額外預(yù)留 25%，用于偶爾可能發(fā)生的重同步需求。也即，這個(gè)值建議為 1.25。舉例來說：

　　假設(shè) VSAN 上工作負(fù)載為每秒 10000 個(gè)寫操作，寫 IO 大小為 4KB，這就意味著寫帶寬為 40MB/s，或者 320Mb/s。這樣網(wǎng)絡(luò)帶寬要求為：

　　VSAN 延伸集群結(jié)合 vSphereReplication（VR）、SRM 可以實(shí)現(xiàn)自動(dòng)化更高、成本較低的兩地三中心的高級(jí)容災(zāi)。同城之間，利用VSAN延伸集群提供數(shù)據(jù)的同步復(fù)制，異地之間，利用 VR 提供數(shù)據(jù)的異步復(fù)制。

　　VMware 建議 vSAN 延伸集群在二層上部署組播，這樣比較簡(jiǎn)單。如果部署在三層，有 NSX（VMware 的軟件定義網(wǎng)絡(luò)）的支持，會(huì)如虎添翼，通過 NSX 實(shí)現(xiàn)跨站點(diǎn)的網(wǎng)絡(luò)虛擬化，包括跨三層的二層網(wǎng)絡(luò)延伸，全分布式網(wǎng)關(guān)，以及安全策略延伸，無需昂貴的私有的硬件交換機(jī)，即可實(shí)現(xiàn) L2 Extension，如 OTV，VPLS，EVI 等。

　　不過需要注意的是，vSAN 與 NSX 本身是相互獨(dú)立的，沒有相互依賴的關(guān)系。