江蘇聯(lián)通NGBSS計費系統(tǒng)中VERITASCFS的應用
倪岳龍 崔正鋒 沙甲戊 2009/05/26
本文涉及的解決方案名稱為賽門鐵克的VeritasStorageFoundation Cluster File
System 5.0，以下簡稱VERITAS CFS。
江蘇聯(lián)通NGBSS建設背景
隨著電信市場競爭的日益加劇，電信運營的首要目標已經(jīng)從挖掘增量市場的價值轉向挖掘存量市場的價值。如何保持現(xiàn)有客戶，讓現(xiàn)有客戶使用更多的業(yè)務，保障現(xiàn)有客戶的價值，已上升為提高利潤及運營價值最需探討的問題。另一方面，國際化的市場環(huán)境要求中國聯(lián)通必須立足國際，制定國際化的經(jīng)營戰(zhàn)略，在經(jīng)營管理上向國外先進的電信運營企業(yè)看齊，以迎接電信運營業(yè)的國際化競爭。以上市場環(huán)境對中國聯(lián)通的服務內(nèi)容、服務方式、服務質(zhì)量、經(jīng)營管理都提出了嚴峻的挑戰(zhàn)。
在以上背景下，中國聯(lián)通決定啟動新一代BSS系統(tǒng)的建設，以從根本上解決BSS系統(tǒng)中長期以來存在的問題，改善中國聯(lián)通BSS系統(tǒng)的運營支撐能力，并通過IT系統(tǒng)來規(guī)范和固化業(yè)務流程、管理流程，為用戶提供更好的服務，從而提高中國聯(lián)通在日益復雜的市場環(huán)境中的核心競爭力。
江蘇聯(lián)通老計費系統(tǒng)中存在的問題
計費系統(tǒng)是聯(lián)通NGBSS的重要組成部分，計費系統(tǒng)的主要功能是對從交換機和關口局采集下來的原始話單進行預處理、分揀排重、批價等一些列的處理，最終生成統(tǒng)一的批價詳單，完成對用戶的批價算費。
下面圖示表明了典型的計費數(shù)據(jù)流圖:
江蘇聯(lián)通老計費系統(tǒng)中，所有計費應用的進程都運行在同一臺服務器上（由于非群集文件系統(tǒng)，文件系統(tǒng)只能掛載在一臺服務器上）。為分擔應用，另外增加一臺服務器，用于分擔短信業(yè)務。兩臺計費服務器分別處理語音話單和短信話單，架構圖如下:
在實際運行中這種架構存在以下結構性問題:
1.單點故障。由于兩臺計費服務器分別處理語音和短信話單，相應部署的計費應用程序也不同，造成任何一臺計費服務器故障時，另一臺服務器不能接管其全部或部分業(yè)務。
2.系統(tǒng)瓶頸。因為所有的采集、預處理、分揀、排重、批價進程跑在一個服務器上，對服務器資源的要求非常高。尤其是語音話單部分，單臺服務器的處理能力成了整個計費系統(tǒng)的性能瓶頸，由于文件系統(tǒng)只能同時掛載在一臺服務器上，所以應用也不能橫向擴展，限制了業(yè)務的發(fā)展。尤其是在話單重批、月末出賬等高壓情況下，應用服務器都是遠超負荷在跑，嚴重影響重批和出賬的速度。
3.維護麻煩。由于語音和短信計費事分跑在兩臺服務器上，當應用升級、采集點變更等需要對應用配置進行維護改動的時候，都帶來雙倍的工作量和升級時間。安排計劃內(nèi)的維護停機也相當困難，需要停止應用。
從對老系統(tǒng)的分析可以看到，對計費應用架構進行改進的核心問題是提升其橫向擴展能力，必須做到讓多臺服務器分擔計費處理業(yè)務。那如何擴展？常見的應用擴展分割主要有以下兩種:
1.按地市劃分
以地市(或號段)分割話單，在每臺計費應用服務器上運行完整的計費程序，只是處理話單的地市不同。
這種方式劃分簡單，應用服務器之間的耦合比較低。但是同時也存在兩個問題：
一是多臺應用服務器之間相互獨立，實現(xiàn)應用服務器的冗余互備比較麻煩，需要實現(xiàn)多節(jié)點的HA；
二是對于省內(nèi)漫游的話單處理比較麻煩，需要通過ftp等文件傳輸接口方式進行文件傳輸，影響計費的速度。
2.按功能模塊劃分
每臺計費應用服務器分別運行不同的計費模塊，如預處理，排重，分揀，批價，入庫，但都是處理同樣的目標話單。
這種方式實現(xiàn)比較復雜，需要對應用進行改造，同時也存在一個比較嚴重的問題。因為在計費的過程中，有7次文件落地到磁盤的過程，這意味著要在應用服務器之間進行多次的文件傳輸，這會嚴重影響計費的速度。
江蘇聯(lián)通新計費系統(tǒng)應用CFS的架構調(diào)整
江蘇聯(lián)通在新一代BSS中采用按地市劃分的方式實現(xiàn)計費的橫向擴展。前面提到按地市劃分存在的兩個問題，由于使用了VERITAS
CFS提供的群集文件系統(tǒng)，在6臺應用服務器之間共享了計費應用的文件系統(tǒng)，得到了完美的解決。
VERITASCFS讓SAN真正發(fā)揮作用。通過所有采集和計費服務器直接在SAN上共享相同的文件系統(tǒng)，VERITASCFS提供了一個高效可靠的數(shù)據(jù)共享基礎架構。
上圖即為江蘇聯(lián)通在新一代BSS計費系統(tǒng)的架構描述：6臺計費應用主機共享CFS文件系統(tǒng)，兩臺應用服務器負責從交換機采集話單文件，另外4臺應用服務器則負責對采集后的話單進行預處理、分揀、排重、批價、入庫等過程。
因為引入VERITASCFS，前面提到的所有問題都得到了解決：
1)6節(jié)點互備冗余，避免單點故障。任何一個節(jié)點發(fā)生故障，原來上面跑的業(yè)務都可以很方便的跑到另外的任意一個節(jié)點上。
2)良好的擴展能力。如果這6臺應用服務器還不能滿足應用，一方面可以對應用服務器本身進行擴容，也可以再擴展應用服務器的數(shù)量分擔壓力，最大可以擴展到32個節(jié)點。
3)避免了節(jié)點間的文件傳輸。所有節(jié)點共享文件系統(tǒng)，有效的避免了節(jié)點之間的文件傳輸開銷，提高了性能。
4)維護便利。對應用進行更新和升級操作時可以采用滾動升級(rolling upgrade)機制，消除了升級和更新帶來的停機時間，可以很方便的安排計劃內(nèi)停機，并且不影響業(yè)務。
總結
VERITASCFS的引入，解決了老計費系統(tǒng)中結構性問題，加強了計費應用的健壯性和可擴展性。在NGBSS割接上線后近3個月以來，CFS一直運行穩(wěn)定，同時也提供了非常好的讀寫性能（順序讀寫達到450MB/s，隨機讀寫達到150MB/s），為快速計費提供了底層的技術保障。
為更好的利用和保護數(shù)據(jù)，我們考慮利用VeritasStorageFoundation的更多特性，比如存儲虛擬化、分級存儲、數(shù)據(jù)保護等，實現(xiàn)跨存儲或者異構存儲的數(shù)據(jù)備份和保護等。
通信世界網(wǎng)(www.cww.net.cn)
相關鏈接: