發表者	討論內容
冷日 (冷日)	發表時間：2004/8/31 1:09
Webmaster 註冊日: 2008/2/19 來自: 發表數: 15773	[分享]追求運算密度的完美平衡追求運算密度的完美平衡-介紹7大品牌16臺x86機架伺服器記者 / iThome採購情報 2004-08-30 隨著企業規模持續成長，伺服器數目日益增加，全面採用機架式伺服器以節省空間、簡化管理，將是一個必然的趨勢。那麼，企業該如何採購適合的機架式伺服器，以符合企業本身的需要？對於稍有規模的企業而言，隨著企業的IT基礎設施的擴充，無論是網路設備、網路儲存系統、以及伺服器本身而言，都有著安裝至機架上以節省空間、簡化管理的必要性。當然，這時候直立式伺服器就無法滿足這些需求，採購標準的機架式伺服器絕對是免不了的。不過，近期的產品發展趨勢－尤其是刀鋒伺服器的誕生，似乎並不完全符合這個看法，那麼，事實究竟是如何呢？破除迷思：既然有了刀鋒，為何還要採購機架式伺服器？刀鋒伺服器是伺服器市場的新寵兒。隨著近年來隨著刀鋒伺服器的興起，市場上充斥著刀鋒伺服器將完全取代傳統機架式伺服器的口號。的確，刀鋒伺服器可以在更小的空間內容納更多的伺服器單元、簡化布線、節約整體耗電量、整合SAN儲存系統及網路裝置於機箱之中、以及透過集中式管理工具簡化管理工作，達成傳統直立式伺服器及機架式伺服器所無法企及的伺服器整合能力。對於需要高密度運算能量的企業，或是整合不同處理器架構的伺服器，優勢相當的明顯。眾多市場調查機構也對刀鋒伺服器的未來保持樂觀態度，先前IDC就預測，在2008年時，刀鋒伺服器將會佔整體伺服器出貨量的29%。不過，對於已經擁有眾多標準機架式伺服器的企業而言，在既有的機架式伺服器群中加入刀鋒伺服器，會讓管理架構疊床架屋。更重要的是，就算可以讓刀鋒伺服器的管理納入伺服器管理工具之中，還是得另外管理刀鋒的機箱。很遺憾的，目前尚未有伺服器廠商有能力做到機架式伺服器與刀鋒伺服器的整體管理解決方案。進一步而言，由於高度整合網路及儲存系統之故，導入刀鋒伺服器，甚至可能造成企業被迫翻修整個網路及儲存架構。那麼，對於從未購置機架式伺服器、甚至網路及儲存架構都從頭開始的企業而言，是不是直接購買刀鋒伺服器，才是最理想的選擇？答案也不見得是肯定的。首先，雖然伺服器廠商們都宣稱刀鋒伺服器可以節約整體電力消費，以及冷氣的開銷，但事實上，相較於機架式伺服器，刀鋒伺服器卻有著更高的耗電及發熱「密度」，往往必須重新規畫機房供電及散熱方式，才能確保刀鋒伺服器的正常運作。我們就曾經碰過某學術研究單位購買數臺刀鋒伺服器機箱，安裝至既有的機房，卻因為電力供應不足，導致其中一半被迫停擺的案例，直至修改機房電力供應才解決。此外，刀鋒伺服器有著更高的「入會費」－也就是初期建置成本，這對於經費有限的企業也是不小的負擔。最後，雖然刀鋒有著易於建置備援系統以及快速損害還原的便利性，但如果發生機箱損壞，所有的伺服器就會全軍覆沒。當然，很可能「順便」連整個網路和儲存系統都一起陪葬。換言之，系統整合的程度越高，發生災難的損失也越大。所以，刀鋒伺服器並非廠商宣稱的如此完美，實際上的單位密度也是值得商榷之處，也因此，眾多企業在衡量利弊得失後，依然決定繼續採購傳統的機架式伺服器，尤其是密度最高的1U伺服器。其實，刀鋒伺服器並不是不好，不過是否可以節省實際上的成本，就必須讓企業依據自身的需求去判斷。機架式伺服器有別於直立式伺服器的諸多考量理所當然的，如同其名，機架式伺服器都是安裝在機架上，管理和建置上自然有著和直立式伺服器截然不同的需求。我們就列出以下數點，供企業做為採購機架式伺服器時的參考。 1U還是2U？企業究竟要買1U還是2U伺服器？這個就端賴企業對於伺服器擴充性的需求，尤其儲存系統的規畫甚為重要，因為往往1U伺服器僅有2至3臺硬碟的空間（SuperMicro SS-6013P-T和泰安GX26可安裝4臺硬碟，算是一個特例），但在2U伺服器上提供8至9臺硬碟已成常態。如果企業已經採用NAS或SAN，或著是已經構建多層伺服器架構，伺服器毋需安裝大量的硬碟，自然也可以購買密度較高、較便宜的1U伺服器。尤其如果企業將伺服器委託主機代管服務，節約機架空間，意味著更低的租用成本。反之，如果企業並不打算採用遠端網路儲存設備，希望將伺服器上的硬碟視為最主要的儲存系統，採購2U伺服器就是一個比較好的選擇。此外，由於建立RAID系統會增加硬碟機的數量，這也是必須考慮的因素。相較之下，由於目前大多數伺服器在主機板上就已經內建SCSI、RAID控制器、雙埠GbE等諸多功能，PCI及PCI-X的插槽數目，影響就沒有硬碟機數目來得如此重要。備援供電也是一個值得考慮的因素，因為這可以大幅提升系統的可靠性，尤其是當作業系統損毀、必須使用Out-Of-Band管理之際，而1U伺服器甚少有提供備援供電器的機種（微星X2-102可安裝兩組525W供電器，相當的少見），而2U伺服器幾乎都有備援供電的設計（泰安 TX46由於是少見的2U四處理器機種，所以僅能安裝兩臺硬碟，也沒有備援供電器）。不過，如果企業只是打算購置網頁伺服器，不需要太強的擴充性和可靠性，一般內建1至2顆處理器的1U伺服器就已經相當夠用。對於應用伺服器和資料庫伺服器而言，2至4顆處理器的2U伺服器是更好的選擇，尤其對日後升級至中階伺服器而言，除了I/O效能之外，記憶體容量的擴充性是相當重要的考量，而記憶體可靠性機制也是值得注意的重點。本次不少送測伺服器採用英特爾最新的Lindenhurst E7520晶片組，提供了交錯式Memory Mirroring功能，可提供更好的記憶體資料可靠性，但這也會增加一倍的記憶體容量需求以及降低記憶體有效頻寬。至於AMD Opteron伺服器，其實也佔了相當程度的比例，但是Opteron除了ECC和Chipkill外，就沒有其他的記憶體資料可靠性功能。此外，隱而不現的是，Opteron的CC-NUMA架構讓AMD系統享有記憶體頻寬的優勢，卻也導致系統I/O效能表現不佳的問題，需要作業系統及應用程式的最佳化（如針對ACPI 2.0的SRAT功能）。對於越高階的應用，企業在這部份的考量就必須更加的謹慎。機構設計上是否便於機架的管理？這也是機架式伺服器和直立式伺服器管理上最大的不同之處，往往直立式伺服器都有著獨立的顯示器、滑鼠及鍵盤，也常常放在辦公桌等允許直接操作管理的位置，但是機架式伺服器可就沒這麼好運了，要在機櫃內管理密密麻麻的機架式設備是相當麻煩的工作。這時候，可以降低管理負擔的機構設計就相當的重要。首先，現今所有的機架式伺服器面板都提供了ID指示燈，可以在管理者進入機櫃後方後，辨別特定伺服器的位置，例如管理者在面板發現網路線脫落，進入機櫃後方重新接線的情況。但是，卻少有產品在機背提供一樣的功能。如果管理者在機櫃後方發現問題，打算拆卸該伺服器，在每臺伺服器型號相同的情況下，管理者往往得自己計算設備的排列順序（而且還很容易算錯），甚至土法煉鋼，直接把該伺服器電源給拔掉以資辨認。這時候，如果伺服器有機背ID指示燈的設計（如華碩AP140R-E1），這就非常方便。事實上，根據我們建置機架式伺服器的經驗，這功能真的相當好用，值得伺服器廠商們參考。另外，歷史的教訓證明，就算有遠端管理功能，往往很多狀況還是得管理者親自到機櫃前，插上鍵盤、滑鼠及顯示器後，現場操作伺服器才處理。也因此，部分機櫃供應商就推出在機櫃上安裝鍵盤滑鼠及顯示器的配件，不少企業甚至直接透過KVM連接所有的伺服器，以方便進行直接的管理工作。不過，在沒有類似工具的環境下，或著是發生KVM故障的情況，PS/2的鍵盤滑鼠也許可以用USB介面的產品來取代，畢竟目前的伺服器面板都有提供USB埠，但是顯示器用的D-Sub卻是無法替代的。在此時，如果面板提供D-Sub埠，就會相當方便，像捷元的產品都有提供這樣的設計。不過，雖然目前市面上已經推出多款支援USB、甚至以區域網路為介面的KVM系統，但是不少企業依然使用PS/2埠的老舊KVM。這時候，不少未內建滑鼠鍵盤PS/2埠的機種（有只內建鍵盤埠，有的則是兩者俱無），使用上就會相當的麻煩。雖然USB已經逐漸成為主流，但PS/2的鍵盤滑鼠依然隨處可見，這也值得廠商們參考。遠端管理軟體的功能設計基本上，寒氣襲人、震耳欲聾的機房，並不是適合人類久留之處。企業往往也對人員進出機房有著相當嚴格的管制，例如進出都必須簽到登記等等。所以，如果不是非得進入機房不可的問題，能在辦公室內遠端處理，當然是再好也不過了。各家伺服器廠商也都自行發展專用的遠端管理軟體，設計上各有千秋，而基本功能均大同小異，有些廠商的管理軟體則需要先行安裝SNMP或是後端資料庫。不過，我們可以發現兩種不同的管理軟體架構，這會直接影響管理大量伺服器、甚至跨子網路管理工作的彈性。以泰安 TSO和大同TSM為例，他們都是屬於三層式（3-Tier）的架構：伺服器上執行的Agent、該子網路內負責收集伺服器資訊的Station，以及遠端管理電腦所執行的Console。這種架構最大的好處是，透過Station收集子網路內的伺服器資訊，管理端只要連結Station，就可以掌握所有伺服器的相關資訊。此外，如果子網路內採用DHCP或私有IP位址，管理端只要確保能和Station聯繫（這時候執行Station的伺服器，就必須擁有對外的公開IP位址，最好選擇Gateway、Proxy或Reverse Proxy伺服器），在子網路外依然可以得知該子網路內部的伺服器狀況，這也帶來跨區域以及跨國管理大量伺服器的彈性。如果只是一般點對點架構的管理軟體，就力有未逮。當然，有些管理軟體支援Directory通訊協定（如LANDesk Management Suite），可透過Active Directory伺服器去取得不同網域伺服器的相關資料，就可以避免這樣的問題，不過，這也會大幅增加網路建置規畫的複雜度。網頁管理介面則是另一個值得注意的功能，畢竟今天幾乎沒有電腦是不安裝網路瀏覽器的，也可以免除安裝專屬管理介面的麻煩。另外，由於網頁管理介面可以提供更圖像化的系統資訊，也較能讓管理者迅速掌握系統相關資訊。以華碩的ASWM為例，網頁介面會顯示各伺服器各零組件的位置，也會表現伺服器上的裝置安裝狀況。如果發生故障，如某風扇停止運轉，管理者馬上就可以得知精確的位置，減少維修的時間。不過，由於網頁管理介面多半都以Java撰寫，管理端需要另外安裝Java Runtime Environment（JRE），執行效率上也往往不如專屬的管理介面。另外，隱而不現的是，採用網頁管理介面的伺服器管理軟體多半是點對點架構（HP Insight Manager、英特爾LANDesk和技嘉GSMT等除外），管理者僅能逐一透過瀏覽器去管理每臺伺服器，如果伺服器採用DHCP或私人IP位址，要進行子網路外的遠端管理就會相當的麻煩。當然，這也端賴伺服器數目的多寡，以及是否真有跨網域管理的需要。如果伺服器數目到達一定規模，採用Windows Management Server之類的系統也是一個值得考慮的選擇。最後，也是最重要的，如果伺服器所執行的作業系統嚴重損毀，或是尚未開機，導致無法執行作業環境的In-Band管理，就必須倚賴IPMI所定義的Out-Of-Band管理模式。當然，伺服器也必須安裝IPMI功能卡及擴充模組。機架式伺服器之所以極為倚賴Out-Of-Band模式，也是因為安裝在機架上之故，並不容易進行直接的管理工作，而IPMI 1.5版本已經定義了透過區域網路傳送IPMI控制訊息的功能（IPMI Over LAN），所以只要透過網路即可進行Out-Of-Band管理，不需要直接連接序列埠，也可以透過Console Redirection，遠端操作系統BIOS的設定或DOS命令列。不過，有些廠商會將In-Band及Out-Of-Band模式整合在同一套管理軟體及介面之下，如微星的MMS和泰安的TSO，有些則是分開成兩套管理系統，Out-Of-Band管理工具配合IPMI擴充卡另外出售，這也是使用上值得注意之處。當然，如果真的碰到網路系統癱瘓，非得帶著筆記型電腦直接連接伺服器序列埠的情況，伺服器面板提供RS-232就很方便，不少廠商的產品都有提供這樣的功能。硬體擴充上的彈性及散熱設計有些伺服器廠商將軟碟機及光碟機做成一個可抽換模組，可更換成一個熱抽取硬碟空間，這可以帶來較高的配置彈性。另外，像捷元的RX-221，雖然僅提供六臺硬碟機，但是可以另外安裝一臺磁帶機供資料備份之用。至於可以沿用主機板內建SCSI控制器的ZCR（Zero-Channel RAID）功能，已經在機架式伺服器中相當的普及，而一般ZCR控制卡的價格僅有Ultra320 RAID獨立控制卡的一半，這也可以大幅降低構建SCSI RAID的成本。裝置密度則是另一個值得考慮的重點。就常理來判斷，機架式伺服器的裝置密度（尤其是硬碟機的數目）當然是越高越好，不過機架式伺服器因機櫃內「疊疊樂」之故，越高的裝置密度，對於伺服器本身的散熱設計就是一個相當嚴苛的考驗。很不幸的，這沒有經過長期的實際使用驗證，根本不會有人知道最後的答案，而且這也和使用環境的規畫有著極為密切的關連。企業在採購機架式伺服器之時，最好多向伺服器廠商取得相關的建議及資訊。伺服器建置的相關配套措施機架式伺服器的建置規畫並非只限於伺服器本身，像機架式UPS、NAS、SAN以及網路交換器的配套亦不可少，錯綜複雜的纜線更是機架管理的燙手山芋，採用高密度配線架是一個值得考慮的方式。此外，機櫃的散熱以及供電也是一門不小的學問。這些都是建置前所必須考慮的重點。萬流歸宗：從企業需求的角度來決定採購我們談了這麼多的機架式伺服器採購重點，不過這些都遠不及企業自身的管理考量來得重要。首先，如果企業已經採用了大量特定廠牌的伺服器，為了維持管理上的一致性，自然也比較容易繼續採購同廠牌的機種。對於已經有相當規模機房建置的企業而言，也毋須重新思考建置的配套方案。更重要的，就算遠端管理是很重要的功能，據了解，不少企業其實並不希望自己的伺服器上執行這些「來路不明」的管理軟體，影響伺服器的效能及應用程式的穩定度。所以，企業必須針對自身的需求，來決定伺服器的採購方向。文⊙劉人豪另類高密度伺服器：磚型伺服器除了現有的機架式伺服器和刀鋒伺服器外，其實還有另類的高密度伺服器：磚型（Brick）伺服器，最具代表性的廠商，莫過於Rackable System，目前包含Google、Yahoo、Sony、EA及Toshiba等知名廠商，均大量採用Rackable的磚型伺服器。正如其名，每臺伺服器的外觀類似磚頭，機箱前後均可安裝伺服器，所以可以達成相當高的密度。以Rackable近期發表的Scale Out Server為例，可以在10U的空間內安裝92臺伺服器以及最多184顆處理器，號稱是目前密度最高的系統。每臺伺服器內建兩臺3.5吋或四臺2.5吋硬碟，雙埠GbE，以及一條全高PCI-X。為了簡化管理工作，除了電源和網路以外的所有連接埠均置於面板上。雖然以技術的角度而言，磚型伺服器並沒有刀鋒伺服器來得如此吸引人，而且機櫃和伺服器均為專屬規格，但是依然可以達成相當高的伺服器密度，更低的系統設計門檻，而且有著更低的系統建置成本。 Rackable System的Scale Out System日前在LinuxWorld大展中得到最佳創新硬體方案的獎項，這是否會帶起磚型伺服器的風潮，值得我們拭目以待。 In-Band與Out-Of-Band遠端管理模式 In-Band和Out-Of-Band的定義往往容易引起混肴，其實兩者最主要的差別，就在於是否透過作業系統進行系統管理工作。 In-Band模式下，管理端透過作業系統上所執行的Agent、或是SNMP協定收集系統相關資訊，再間接存取IPMI的BMC。 Out-Of-Band則是在伺服器當機、作業系統嚴重損毀或是系統無法正常開機時，透過IPMI的RMCP協定直接存取BMC，操作伺服器的硬體底層，例如作業系統當機、無法透過In-Band模式進行正常重新開機，或是系統尚未開機時，就可透過Out-Of-Band強行重啟系統。此外，由於IPMI可透過區域網路、RS-232及Modem傳送控制訊息至BMC，所以可以遠端進行Out-Of-Band管理。透過Console Redirection，管理者亦可遠端操作系統的BIOS功能及DOS命令列。由於機架式伺服器的特性，很難像直立式伺服器一樣容易的直接控管，所以Out-Of-Band管理就相當的重要。文⊙劉人豪
回覆