JDSU的數據中心SAN存儲網(wǎng)絡(luò )故障診斷解決方案

        2011年12月22日，在工業(yè)信息化部、信息化推進(jìn)司、中國數據中心產(chǎn)業(yè)聯(lián)盟的支持下，中國IDC產(chǎn)業(yè)聯(lián)盟網(wǎng)承辦2011中國數據中心建設與運維高層論壇開(kāi)幕了，此次論壇以“領(lǐng)先科技，締造未來(lái)”為主題，與會(huì )將就新一代數據中心規劃，建設，運維，和安全等實(shí)質(zhì)性問(wèn)題進(jìn)行廣泛探討和互動(dòng)交流。機房360對本次高層論壇做了全程直播。以下是王加東演講的全文實(shí)錄：
　　
　　王加東：各位來(lái)賓大家下午好，現在由我給大家介紹一下SNA存儲網(wǎng)絡(luò )故障，排錯方案。我們這個(gè)主題跟今天上午，包括今天下午大部分主題發(fā)言范圍，可能差距比較大一些，并沒(méi)有涉及到一些基礎系統建設，包括運維。我們這個(gè)系統解決方案是用戶(hù)的服務(wù)器，網(wǎng)絡(luò )設備，包括存儲系統已經(jīng)上線(xiàn)以后，他的各種業(yè)務(wù)系統已經(jīng)上線(xiàn)以后，如果出現后端服務(wù)器跟存儲系統之間性能比拼，就可能用到我們SNA的解決方案。所以，還是一個(gè)比較細分的市場(chǎng)，我是負責數據存儲網(wǎng)絡(luò )這塊業(yè)務(wù)在亞洲的市場(chǎng)拓展。
　　
　　我們本次大概會(huì )有下面幾個(gè)部分，一個(gè)是國內外大型機構數據中心系統及維護模式不同，包括部署工具之前和之后的場(chǎng)景。另外，我們會(huì )簡(jiǎn)單介紹一下存儲網(wǎng)絡(luò )分析幾個(gè)典型應用場(chǎng)景，最后就我們的解決方案做一個(gè)簡(jiǎn)單介紹，包括也會(huì )提到我們目前在上海，包括北京、上海的客戶(hù)案例。首先我們看一下大型機構數據中心在國內外系統維護模式不同，這是一個(gè)ESG創(chuàng )始人講的一段話(huà)，現在IT系統越來(lái)越復雜，問(wèn)題也越來(lái)越多，在應用各個(gè)當中也提出越來(lái)越多的挑戰，我們需要使用一些好的工具，或者是維護的解決方案定義出問(wèn)題來(lái)。
　　
　　這個(gè)是國外大型機構跟國內大型機構目前一些不同，我們在國內跟很多機構用戶(hù)做過(guò)很多交流，國外目前，其實(shí)我們發(fā)現他稅金規模已經(jīng)相當龐大，不說(shuō)現在，即便10年以前。我們發(fā)現包括美國，在歐洲并不是一些很知名類(lèi)似于金融，證券，運營(yíng)商這種客戶(hù)，他的數據中心與我們10年以后，中國很多大型機構基本上還要大很多。因為這幾年國內數據機房建設也越來(lái)越大，規模也越來(lái)越大，部署的系統和業(yè)務(wù)越來(lái)越大，也有趕超的趨勢。目前來(lái)講，相對是小一些。
　　
　　那么，國內因為規模比較大出的問(wèn)題也非常多，目前相對來(lái)講，國內因為規模的問(wèn)題相對還小一些。我們跟很多金融企業(yè)溝通起來(lái)，很多問(wèn)題還是僅限于線(xiàn)，包括鏈路的問(wèn)題等等，很多問(wèn)題可能通過(guò)應用跟系統本身提供的一些管理軟件也可以得到解決，碰到非常復雜的問(wèn)題前幾年并不是特別多。這幾年規模慢慢大起來(lái)以后，問(wèn)題也慢慢出來(lái)了。在國外的話(huà)，他的用戶(hù)碰到問(wèn)題的時(shí)候，除了使用像系統廠(chǎng)商提供的一些管理系統，還有一些服務(wù)器的管理系統，網(wǎng)絡(luò )設備與網(wǎng)絡(luò )設備的管理系統，智能設備與智能設備的管理系統。除此之外，還有很多第三方網(wǎng)管工具，或者是管理工具，包括比方說(shuō)我們上了這種業(yè)務(wù)系統以后，我們碰到這種應用性能的問(wèn)題，我這個(gè)業(yè)務(wù)系統，對終端用戶(hù)連上來(lái)以后覺(jué)得非常慢，打開(kāi)一個(gè)頁(yè)面查一個(gè)東西，可能幾十秒鐘出不來(lái)結果，這就是性能的問(wèn)題。
　　
　　實(shí)際上來(lái)講，國外的公司現在已經(jīng)越來(lái)越多利用第三方整個(gè)工具，包括我下面提的應用性能管理的問(wèn)題，典型代表像美國一些公司，大家可能對Snifer都比較熟悉，對你以太網(wǎng)進(jìn)行監控和分析。國內目前來(lái)看，我們碰到大部分問(wèn)題，尤其企業(yè)一些基本客戶(hù)還是比較傾向于碰到問(wèn)題的時(shí)候，尤其稍微復雜的問(wèn)題都還是叫廠(chǎng)商過(guò)來(lái)，他們也買(mǎi)了廠(chǎng)商7×24小時(shí)的服務(wù)，一個(gè)電話(huà)就過(guò)來(lái)，廠(chǎng)商也非常重視，因為是大的機構用戶(hù)。所以，出現問(wèn)題的時(shí)候，像包括服務(wù)器，數據庫，中間件，交換機，存儲設備都會(huì )過(guò)來(lái)，不行就做多方會(huì )診解決問(wèn)題，目前這種情況還是比較多一些。
　　
　　那么，自己獨立配置一些第三方診斷，運維工具來(lái)進(jìn)行診斷，目前這種情況還不是非常多。這個(gè)就是剛才我提到的，這是通過(guò)美國一個(gè)公司生成業(yè)務(wù)拓撲圖，從這個(gè)圖上面可以容易讓你知道，一個(gè)用戶(hù)請求經(jīng)過(guò)每一步的研究，會(huì )很方便找到問(wèn)題在哪一個(gè)點(diǎn)。但是，我們知道一旦問(wèn)題點(diǎn)，比如這張圖里面最右邊的數據庫，服務(wù)器跟系統之間的時(shí)候，這個(gè)時(shí)候帶來(lái)的問(wèn)題就兩個(gè)方向。一個(gè)方向你如果查數據庫內部資源，比如服務(wù)器內部像CPU，內存，網(wǎng)絡(luò )，各種資源進(jìn)程如果都非常正常的話(huà)，你數據庫服務(wù)器對客戶(hù)端請求仍然非常慢。那問(wèn)題就在什么地方呢？肯定跟后端存儲網(wǎng)絡(luò )有關(guān)系。
　　
　　但是，即便剛剛提到的數據庫服務(wù)器本身都有正常，并不一定是后端存儲的問(wèn)題。所以，我們這個(gè)分析工具就應該在這個(gè)地方，用在數據庫服務(wù)器跟交換機，存儲之間這個(gè)環(huán)節。我們通過(guò)相應的數據，進(jìn)行一定的分析，并且非常明確的告訴用戶(hù)，性能的慢或者不穩定，各種問(wèn)題，根源到底是不是存儲系統，是不是交換機，或者是不是我這個(gè)服務(wù)器。所以，這是我們適用的范圍。
　　
　　那么，一個(gè)典型的部署，我們這個(gè)產(chǎn)品是Xgig，一般是終端用戶(hù)報告我的業(yè)務(wù)系統慢，我用的ERP慢，計費系統慢，供應鏈管理系統慢，慢可能就會(huì )聯(lián)絡(luò )到存儲管理員，可能會(huì )懷疑存儲系統慢及存儲網(wǎng)絡(luò )慢。那么存儲管理員第一步會(huì )使用一些存儲資源管理，或者SNA的管理人員進(jìn)行定位。如果你找到了很簡(jiǎn)單，你可能通過(guò)一個(gè)手段消除這個(gè)問(wèn)題的根源，應用性能的豐富。如果找不到問(wèn)題，就進(jìn)一步通過(guò)設備管理工具進(jìn)行定位，如果找到了OP，找不到可能這個(gè)時(shí)候就沒(méi)辦法聯(lián)系廠(chǎng)商。但是，用戶(hù)自己可能會(huì )覺(jué)得是服務(wù)器問(wèn)題，有一個(gè)初斷，或者是存儲的問(wèn)題，相應會(huì )把廠(chǎng)商叫過(guò)來(lái)。當然先通過(guò)電話(huà)，電話(huà)不行再通過(guò)上門(mén)服務(wù)。你懷疑這個(gè)節點(diǎn)確實(shí)有問(wèn)題解決了，結果不了就得叫另外一個(gè)長(cháng)上過(guò)來(lái)。
　　
　　如果大家都看不到問(wèn)題的話(huà)，把大家都叫在一起進(jìn)行多方會(huì )診。但是有些問(wèn)題，剛才談存儲網(wǎng)絡(luò )復雜以后有些問(wèn)題不是這么簡(jiǎn)單的，可能從某一方，從服務(wù)器自身來(lái)看，看你上面記錄，進(jìn)程資源情況都很好，交換機也好的，存儲系統能力也很好，可能存儲廠(chǎng)商人員可能會(huì )通過(guò)密碼登入內部，這也是好的。這個(gè)問(wèn)題怎么辦呢？最終結果，往往還是說(shuō)要部署我們第三方工具，來(lái)抓一些數據進(jìn)行一個(gè)分析，最終進(jìn)行定義。如果數據中心里面事先部署了SNA的分析工具，這個(gè)情況就跟剛才不大一樣。一般如果有問(wèn)題打給存儲管理員，存儲管理員如果找到問(wèn)題就OK，如果覺(jué)得一看性能沒(méi)問(wèn)題，直接就進(jìn)行排除，應用慢就找其他環(huán)節，就不是我后臺存儲網(wǎng)絡(luò )的問(wèn)題。如果通過(guò)工具一看，如果慢的根源就在存儲網(wǎng)絡(luò )，我們就抓一些數據來(lái)進(jìn)行分析，這個(gè)問(wèn)題在什么地方，可能是什么原因，包括存儲網(wǎng)絡(luò )存儲和服務(wù)器的理解情況，使問(wèn)題得到解決，如果解決不了，我也可以很快把抓的數據發(fā)給廠(chǎng)商。因為這些廠(chǎng)商都會(huì )看的懂我們抓的數據，他們很快就會(huì )對一些問(wèn)題，給客戶(hù)一個(gè)解釋。
　　
　　當然，沒(méi)必要等用戶(hù)跑到現場(chǎng)來(lái)抓數據進(jìn)行分析，也耽誤了很多時(shí)間。我們前面談到存儲網(wǎng)絡(luò )分析工具，目前常用的幾個(gè)場(chǎng)景有這么幾個(gè)地方，一個(gè)因為業(yè)務(wù)慢，這可能是我們碰到最多問(wèn)題，你等到業(yè)務(wù)上線(xiàn)以后，可能平常應該很正常。在某些時(shí)段，或者某些場(chǎng)合下面你會(huì )發(fā)現性能不好，剛才講了你可以聯(lián)通，但是大家體驗不好，查個(gè)東西，寫(xiě)個(gè)數據很難忍受，他這種情況比較容易解決。還有業(yè)務(wù)系統沒(méi)有規律的，包括不穩定的情況，這兩種情況是更好使用我們的產(chǎn)品。下面會(huì )談四種常見(jiàn)案例，第一種就是我們看到應用系統的可用性。應用系統一般都在服務(wù)器上面，訪(fǎng)問(wèn)后端存儲系統，如果慢的話(huà)？我們可以把我們工具通過(guò)光纖分路器拿出來(lái)進(jìn)行分析，來(lái)判斷是不是在存儲網(wǎng)絡(luò )這一側出現問(wèn)題。
　　
　　第二向一些，如果大的數據中心我們就會(huì )做遠程災備，建災備中心。災備中心兩端設備會(huì )定期進(jìn)行備份，這個(gè)時(shí)候我們就可以來(lái)看，相當于復制的性能到底怎么樣。還有我們會(huì )做一些對數據中心存儲系統一側進(jìn)行監測，當然這還不止電子商務(wù)網(wǎng)站，一般企業(yè)應用，只要把存儲這一側監測起來(lái)，所有業(yè)務(wù)系統，訪(fǎng)問(wèn)存儲這一端如果慢很快就可以找到根源，進(jìn)行集中監控。
　　
　　還有現在很多集成系統廠(chǎng)商把老的東西和新的東西整合在一起，所有服務(wù)器都通過(guò)存儲網(wǎng)絡(luò )統一訪(fǎng)問(wèn)存儲信息化系統，有他來(lái)分配數據整體到哪些具體上面。往往這個(gè)時(shí)候，我們發(fā)現很多用戶(hù)也碰到一些快慢問(wèn)題，你反而沒(méi)上信息化之前是好的，上了信息化之后反而問(wèn)題更多。這種場(chǎng)合也非常適合用我們這個(gè)東西，我們在虛擬化系統前端和后端都把這個(gè)抓下來(lái)進(jìn)行分析，我們就要比較一下，比方說(shuō)前端后端延遲到底怎么樣，很容易得到問(wèn)題的答案。
　　
　　下面我們稍微簡(jiǎn)單看一下捷迪訊公司一些業(yè)務(wù)，包括我們產(chǎn)品的情況。捷迪訊公司是99年加拿大JDS和美國Uniphase合并而成，總部設在美國硅谷Milpitas，NASDAQ上市公司。2009年7月15日收購美國Finisar公司協(xié)議工具部門(mén)，踏入存儲網(wǎng)絡(luò )測試領(lǐng)域，我們涉及FC協(xié)議分析，SAS，SATA協(xié)議，iSCS，CIFS，NFS協(xié)議都非常擅長(cháng)，我們有一個(gè)MedusaLabs實(shí)驗室，進(jìn)行一些測試服務(wù)。這是使用我們這個(gè)產(chǎn)品的客戶(hù)，基本上可以看到，業(yè)界從做存儲網(wǎng)卡到存儲交換機，到存儲系統，甚至包括存儲硬盤(pán)都是我們客戶(hù)。
　　
　　我們現在這個(gè)產(chǎn)品還抓了數據格式，各個(gè)廠(chǎng)商，基本上用戶(hù)數據中心里面涉及的主機，交換機等等都會(huì )認識，他們的工程師也都會(huì )用我們這個(gè)工具進(jìn)行分析。這個(gè)展品就是我們前面提到Xgig的產(chǎn)品，其實(shí)是一個(gè)硬件設備。當然了，我們具體的配置，管理，分析也是通過(guò)軟件來(lái)做的，設備的主要目的是為了把存儲網(wǎng)絡(luò )鏈路上的數據拿下來(lái)存在里面，然后我這個(gè)電腦裝的軟件，把系統設備找出來(lái)進(jìn)行分析，找出問(wèn)題根源。
　　
　　這是幾個(gè)協(xié)議，一個(gè)是FibreChannel，還有存儲交換機，還有主力系統，現在都有8G，還有廠(chǎng)商正在研究16G協(xié)議，真正用戶(hù)部署還得2年以后。以太網(wǎng)這塊，包括像1個(gè)3，10個(gè)G，40G都可以進(jìn)行分析，另外還有SaaS的協(xié)議也都可以做分析。這是我們軟件的一個(gè)運行界面，通過(guò)界面可以看到，這是XgigFC協(xié)議分析解碼界面，左下角基本上類(lèi)似于Xgig的界面，從這當中進(jìn)行解碼出來(lái)。這個(gè)是對抓的數據進(jìn)行一個(gè)系統專(zhuān)家分析，告訴你什么地方有什么問(wèn)題，紅色的表示出錯，紅色是警告。前面也提到為了應用我們解決方案，首先第一步要從鏈路上把這個(gè)拿下來(lái)，要經(jīng)過(guò)高密度分光路器，這是一個(gè)實(shí)際圖，這是一個(gè)機架設備，4個(gè)小模塊，每個(gè)模塊有四組，每一組有三個(gè)端口，其中前面兩個(gè)端口相當于一進(jìn)一出。第三個(gè)端口把兩個(gè)方向數據，可以拿出來(lái)，跟我們工具的連接是這樣的。
　　
　　我們可以看到第三個(gè)端口，出來(lái)的兩個(gè)鏈路數據直接可以接到我們工具這兩個(gè)端口上。右上角這個(gè)圖，如果接在交換機和傳統設備之間的話(huà)，高密度分裝器如何連接的。下面舉兩個(gè)案例，這是國內銀行間互聯(lián)機構。他們今年3月份出了一個(gè)問(wèn)題，每天晚上9點(diǎn)多鐘，基本上這個(gè)時(shí)間，跨行間交易，業(yè)績(jì)就會(huì )堵住，在交易大屏幕上可以看到瞬間業(yè)務(wù)訂單就堵塞在那邊，下不下去。
　　
　　這左邊是一個(gè)數據庫服務(wù)器，IBM，中間四臺是光纖通道存儲交換機，右邊這臺是一個(gè)OEM的高端存儲，你看走的雙鏈路，服務(wù)器是兩條鏈路連兩個(gè)交換機，兩個(gè)交換機連另外兩個(gè)交換機，這兩個(gè)交換機互相做災備。當時(shí)其實(shí)用戶(hù)沒(méi)有用這個(gè)功能之前，找這個(gè)問(wèn)題已經(jīng)分析了兩三個(gè)月，總會(huì )擔心會(huì )不會(huì )有根源的問(wèn)題發(fā)現。為此，用戶(hù)這邊包括很多戰略管理人員經(jīng)常通宵達旦把廠(chǎng)商的人叫過(guò)來(lái)分析，也分析不出來(lái)，一個(gè)IBM，每個(gè)人看自己系統都完全沒(méi)有問(wèn)題，都非常正常，但是這個(gè)問(wèn)題基本上每天都出現。當然，也不是一定某一個(gè)時(shí)間點(diǎn)出現，但都會(huì )出現。所以，這個(gè)問(wèn)題比較復雜。
　　
　　我們實(shí)際上現在，當然這個(gè)解決方案沒(méi)有用到分裝器，我們通過(guò)交換機上做端口競相，分別把服務(wù)器連兩個(gè)交換機的兩個(gè)鏈路，以及右邊這兩個(gè)交換機連存儲兩個(gè)鏈路應該競相出來(lái)，連在我們這個(gè)設備，把數據抓起來(lái)，抓了之后就可以進(jìn)行分析。他這個(gè)系統里面也是一個(gè)多路徑，服務(wù)器端是負載均衡的兩條鏈路到這個(gè)系統里來(lái)。這個(gè)我們抓過(guò)來(lái)以后做一定分析，找到這個(gè)流量圖，右邊紅線(xiàn)這個(gè)地方流量基本上就消失了，沒(méi)地方要了。這邊是我們專(zhuān)家分析的一些結果，順著(zhù)這個(gè)結果去找根源，發(fā)現他是在第二套鏈路，右邊交換機連存儲系統，這個(gè)鏈路上面，在某一個(gè)時(shí)刻，多少，多少秒，過(guò)來(lái)的32個(gè)訪(fǎng)問(wèn)存儲命令全部都掛在那邊，什么意思呢？我讀寫(xiě)存儲系統的命令，存儲系統完全沒(méi)有響應，掛的時(shí)間是2.6秒鐘。因為正常來(lái)講的話(huà)，你要發(fā)一個(gè)毒的命令到存儲系統，存儲系統應該回第一個(gè)數據，第二個(gè)數據回來(lái)，一個(gè)寫(xiě)命令，寫(xiě)在存儲系統上，存儲系統就說(shuō)你可以寫(xiě)了，下面存儲器就把這個(gè)寫(xiě)出來(lái)。所以，這些存儲系統都沒(méi)有響應，我們判斷存儲系統這個(gè)時(shí)候內部是掛掉的。當然，掛的時(shí)間不是很長(cháng)，2.6秒鐘，但是對業(yè)務(wù)影響非常關(guān)鍵，我們同時(shí)發(fā)現他跨行間的交易一下子就堵塞了，所以這是很?chē)乐氐膯?wèn)題。
　　
　　這是我們具體某一個(gè)命令，你看這上面是讀的命令，下面這行是2.588的地方，這是一個(gè)具體展示。剛剛講的這個(gè)例子問(wèn)題是在存儲設備，存儲系統內部的問(wèn)題。我現在講這是一個(gè)北京四大行之一，這個(gè)是今年6月份的時(shí)候，他們要上第三方交易平臺，有一個(gè)上限結果出問(wèn)題上不了。因為這個(gè)服務(wù)者考慮這個(gè)系統連起來(lái)之后，超過(guò)三個(gè)多小時(shí)磁盤(pán)找不到了，盤(pán)掉了。這個(gè)問(wèn)題根源是存儲系統那端發(fā)了一個(gè)正常的數據包，就是我們現在上面這個(gè)線(xiàn)停在這個(gè)地方，發(fā)了一個(gè)包，發(fā)了一個(gè)主機，結果主機存儲門(mén)檻碰到這個(gè)包可能有問(wèn)題，就掛掉了。操作系統過(guò)了幾秒鐘之后就提醒應用，磁盤(pán)也看不見(jiàn)。
　　
　　去年還是前年在上海有一個(gè)證券交易中心，在這個(gè)地方也出現問(wèn)題，當時(shí)部署我們系統也是15分鐘沒(méi)有搞定，之前也是IBM跟EMC重組，大概將近1個(gè)多月也是不知道怎么回事，分析完以后從三個(gè)點(diǎn)一看就是這個(gè)分析系統性能問(wèn)題，美國研發(fā)也確認存儲系統里面有問(wèn)題，他自己看設備管理器原來(lái)都是很正常的。那么，這個(gè)是我們在國外比較多的一些大型客戶(hù)成功案例，包括從運營(yíng)商經(jīng)營(yíng)，證券，大的企業(yè)，超算中心也算的非常多。我的介紹就到這里，大家如果以后對存儲網(wǎng)絡(luò )這塊新的排錯，調優(yōu)有什么問(wèn)題可以聯(lián)系我們在各地的分支機構，謝謝大家。