[筆記] DIY FC Storage

因為工作上的需求，最近在測試VDI的環境，雖然我本來已經有DELL的MD系列Storage 但是走的是iscsi的架構，原本只有 1G的頻寬， 考慮到VDI在某些特定時段會發生大量的流量吞吐的情形，而且SI對於在現有環境下 實際測試出來的數據不滿意，覺得不是很適合拿來建置VDI的環境。 當然啦，廠商想要賺硬體的錢，這種想法我可以接受 不過總是要知道如果改走8G甚至16G的fiber channel storage 和升級成10G的ISCSI 效能會差多少 可是廠商表示要借到整組走光纖的Server + Switch + Storage 可能有困難 而且基本上我手邊的機器也沒辦法停機下來裝HBA卡，畢竟只是為了測試而已 再加上不好光明正大的跟老闆要個五萬十萬的預算就為了看看跑出來的效果如何， 老闆大概只會回我「共體時艱」…

那借又借不到，老闆又不給預算，那怎麼辦呢？ 想來想去，乾脆來土炮一組好了！ 機房內有一些零組件，還有一台退役的R410，要搞起來應該不算太困難吧.

底下簡單介紹這次測試用到的配備，其實光算硬體的價錢，真的不高， 畢竟都是一些散置在機房的備品，真正的額外支出很少

1.DELL 4G HBA 卡 DELL QLE2460 4G HBA Adapter x 2 / 300 RMB以內 淘寶購買，一張一百多塊RMB 這是最具風險的部分，因為要從淘寶買過來，不敢保證東西到底會不會有問題 不過因為便宜，還是跟他賭賭看，8G的HBA售價幾乎是10倍以上，所以不考慮 請大陸的同事買了之後直送台灣，很快就收到了

2.5.25轉 2.5 x4 / 1500 台幣 這次我計畫要測試4G的FC實際上到底能夠跑到多少速度， 如果用2.5”傳統硬碟，擔心硬碟速度會跟不上， 所以找了退役的四顆M4 64G SSD作為儲存空間 因為一般PC不會有這麼多的SATA電源可以用，所以找了一個這種設備 http://www.icydock.com.tw/goods.php?id=97 http://www.pcstore.com.tw/megabid/M13937041.htm 把機殼上的一個5.25空間轉成4 x 2.5， 本來這樣子做會擔心的就是硬碟溫度，剛好我這次用SSD來測試，不擔心溫度的問題 而且這個東西只需要一個大4pin電源就可以了。 3.光纖線 / 300 台幣 其實我一開始沒想到光纖線居然這麼貴，短短五米都開價一千多.. 後來直接找協力廠商幫忙搞一條LC-LC的線來， 算成本價 300塊 (我本來想請他喝杯飲料就算了 XD  )

4. DELL H700 Raid Controller 拍賣購買，含電池、線材 5000左右

5.其他硬體配備 CPU : i7 型號忘了 一點點重要，因為有大量IO，所以會吃CPU運算， 不過大概也就是i3等級可以輕鬆應付 M/B : ASUS P8Z68 Deluxe 主機板部分滿重要的，因為HBA & Raid 都走PCI-E 而Z68本身沒有內建顯卡，所以顯示卡又吃掉一個PCI-E 還好這張版子有 四個PCI-E 足夠使用(除了HBA/RAID/VGA，我還多加了一張 Intel 網卡， 其實沒啥必要，這張主機板本身就內建雙網卡，其中一個也是Intel晶片) RAM: Kingston 4Gx4 不是很重要，當作STORAGE用，RAM的用量不多 PSU: 隨便 CASE:隨便 硬碟： WD Sata 160G 灌系統用，不重要 OS: OSNexus QuantaStor 這東西滿有趣的，可以用來管NFS/SMB/ISCSI/FC， 有興趣可以下載來玩玩看，免費版可以用 6T的空間，綽綽有餘。

花費不到 5000 台幣 其他配備就算都買新的，我想應該也是一萬以內可以搞定 主要就是注意PCI-E的數量要夠就好 SSD如果用128G的下去玩，四顆 大概也是一萬 不過因為我有多的M4 所以就沒有另外買了

組裝過程就略過了 除了買來的HBA沒有短檔版，要上R410時，必須拆檔版，而且不太穩之外，沒什麼大問題 在R410上裝好VMWARE ESXI5 會自動抓到這張HBA卡，不需要管驅動，在PC上也是， 安裝好QuantaStor，就可以看到HBA卡了

設定步驟也略過….

硬體、作業系統、VM都搞定之後 在ESXI上起一台Win8，然後跑Crystal Disk Mark 測試看看 HBA跑 2G 速度時，CDM測試出來的數據大概是 ¹⁷⁰⁄₁₇₀ MB HBA跑 4G 速度時，CDM測試出來的數據大概是 ³⁰⁰⁄₃₀₀ MB

距離理論數據(2G: 250MB/ 4G: 500MB) 都還有一段距離，其實這也是讓我一直百思不解的地方 所以想上來問問看，是不是在家用PC上，PCI-E的頻寬其實是「共用」的， 導致從RAID丟資料到HBA，受限於頻寬，才達不到理論數據？ 因為在我印象中，光纖的儲存設備似乎不像ISCSI這種走ETHERNET的協定，會有衰減的問 題吧？ 或者是有人用過FC SAN的，有沒有數據可以參考看看？

找時間我再來把SSD裝去R410，然後改從R410提供空間給PC 看看這樣會不會比較快..