diff --git a/content/post/10g-lab-using-proxmox-and-mellanox.md b/content/post/10g-lab-using-proxmox-and-mellanox.md index 1337cd2a..3704646a 100644 --- a/content/post/10g-lab-using-proxmox-and-mellanox.md +++ b/content/post/10g-lab-using-proxmox-and-mellanox.md @@ -40,7 +40,7 @@ Mellanox 這張 X2 的卡, proxmox 5.1 / 5.2 可以直接抓到,所以不必 硬體安裝很順利,不過軟體的設定就碰到點麻煩了,所以才想說作個筆記.. -### 必須作 vmbridge 才能指定這個網卡給VM用 +### 必須作 vmbridge 才能指定這個網卡給VM用 安裝好網卡,開機,透過proxmox的WEB界面設定好網卡的資料後,原本以為可以直接使用了 @@ -61,7 +61,7 @@ Mellanox 這張 X2 的卡, proxmox 5.1 / 5.2 可以直接抓到,所以不必 要先設定好 bridge ,然後才能起新的VM、指定新設定的 vmbridge 給這個新起的機器使用 -### Disk Cache type 要改 +### Disk Cache type 要改 設定了新的 vmbridge 之後,就可以在新VM的設定畫面中,指定網卡走這個界面出去 @@ -84,7 +84,14 @@ TASK ERROR: start failed: command '/usr/bin/kvm -id 100 -name 123123 -chardev 's 總之呢,改完之後就可以了 ... -### 必須手動設定路由 +### 必須手動設定路由 + +#### Update + +``` +這邊可能是我有誤解,應該不需要先在pve 本機設定 10G網卡的 IP +直接進web console 去設定 vmbr1 就好了 +``` 設定好新的VM,開機、設定IP、重開機之後,會發現還是ping 不到另一台機器..(翻桌!) @@ -178,5 +185,68 @@ TCP window size: 85.0 KByte (default) 速度果然是提高了十倍呀,果然就是一個爽啊!! -![](https://www.clipartmax.com/png/small/217-2175589_oh-yeah.png) +### 實際開VM來測試看看 + +~~上面的測試,是兩台PVE HOST之間的連線測試~~ + +接下來,要實際測試在PVE中,建立新的VM,一台安裝FreeNAS 作為storage,另一台則是一般的client + +步驟簡單來說,就是在ssd 這台PVE 建立一個新的VM,然後安裝FREENAS,並且提供NFS/iscsi 給另一台PVE Host作為storage來源 + +新增storage選NFS,填入必要資訊後,在這台主機上,建立一個新的VM,磁碟選擇剛剛連接的NFS + +##### 要特別注意,freenas的NFS Share的參數要改##### + +在 mapuser/mapgroup這邊要改成 root/wheel 不然會有無法寫入的問題 + +![FREENAS NFS Sharing](https://i.imgur.com/Yn7qYdK.png) + +安裝完之後,實際跑一下 dd 看看速度多少 + +``` +Last login: Mon Dec 3 03:10:54 2018 +2018-12-03 03:15:03 [administrator@ubuntu ~]$ dd if=/dev/zero of=testfile bs=10240 count=1000000 +1000000+0 records in +1000000+0 records out +10240000000 bytes (10 GB, 9.5 GiB) copied, 9.63458 s, 1.1 GB/s +``` + +``` +2018-12-03 03:17:28 [administrator@ubuntu ~]$ dd if=/dev/zero of=testfile bs=20480 count=1000000 +1000000+0 records in +1000000+0 records out +20480000000 bytes (20 GB, 19 GiB) copied, 16.0786 s, 1.3 GB/s +``` + +``` +2018-12-03 03:17:50 [administrator@ubuntu ~]$ dd if=/dev/zero of=testfile bs=4096 count=1000000 +1000000+0 records in +1000000+0 records out +4096000000 bytes (4.1 GB, 3.8 GiB) copied, 4.80629 s, 852 MB/s +2018-12-03 03:25:23 [administrator@ubuntu ~]$ +``` +可以看到不但大檔案速度都很快,就連小檔案(4096)居然也有852MB + +我底層也不過就是四顆 SATA3 sandisk 240G SSD 而已啊 + +如果都換成PCI-E SSD ,嘿嘿...(流口水 + +- - - + +不過呢,這個也只是自己建的LAB玩玩看而已 + +真的要放到 production 環境去,我也還沒啥把握 (畢竟都是中古、二手、退役的產品拼湊起來的) + +而且沒有10G Switch ,所以只能點對點連接 + +說不定等到對岸的 10G Switch 開始大降價 (我覺得 8 port SFP+ / NTD $2000 左右我應該就會出手了) + +再來把10G 的環境弄完整一點! + + + + + + + diff --git a/public/post/10g-lab-using-proxmox-and-mellanox/index.html b/public/post/10g-lab-using-proxmox-and-mellanox/index.html index 26d9f668..42d0c80e 100644 --- a/public/post/10g-lab-using-proxmox-and-mellanox/index.html +++ b/public/post/10g-lab-using-proxmox-and-mellanox/index.html @@ -157,7 +157,7 @@

硬體安裝很順利,不過軟體的設定就碰到點麻煩了,所以才想說作個筆記..

-

必須作 vmbridge 才能指定這個網卡給VM用

+

必須作 vmbridge 才能指定這個網卡給VM用

安裝好網卡,開機,透過proxmox的WEB界面設定好網卡的資料後,原本以為可以直接使用了

@@ -175,7 +175,7 @@

要先設定好 bridge ,然後才能起新的VM、指定新設定的 vmbridge 給這個新起的機器使用

-

Disk Cache type 要改

+

Disk Cache type 要改

設定了新的 vmbridge 之後,就可以在新VM的設定畫面中,指定網卡走這個界面出去

@@ -196,7 +196,13 @@ TASK ERROR: start failed: command '/usr/bin/kvm -id 100 -name 123123 -chardev 's

總之呢,改完之後就可以了 …

-

必須手動設定路由

+

必須手動設定路由

+ +

Update

+ +
這邊可能是我有誤解,應該不需要先在pve 本機設定 10G網卡的 IP
+直接進web console 去設定 vmbr1 就好了
+

設定好新的VM,開機、設定IP、重開機之後,會發現還是ping 不到另一台機器..(翻桌!)

@@ -288,7 +294,61 @@ TCP window size: 85.0 KByte (default)

速度果然是提高了十倍呀,果然就是一個爽啊!!

-

+

實際開VM來測試看看

+ +

上面的測試,是兩台PVE HOST之間的連線測試

+ +

接下來,要實際測試在PVE中,建立新的VM,一台安裝FreeNAS 作為storage,另一台則是一般的client

+ +

步驟簡單來說,就是在ssd 這台PVE 建立一個新的VM,然後安裝FREENAS,並且提供NFS/iscsi 給另一台PVE Host作為storage來源

+ +

新增storage選NFS,填入必要資訊後,在這台主機上,建立一個新的VM,磁碟選擇剛剛連接的NFS

+ +

要特別注意,freenas的NFS Share的參數要改

+ +

在 mapuser/mapgroup這邊要改成 root/wheel 不然會有無法寫入的問題

+ +

FREENAS NFS Sharing

+ +

安裝完之後,實際跑一下 dd 看看速度多少

+ +
Last login: Mon Dec  3 03:10:54 2018
+2018-12-03 03:15:03 [administrator@ubuntu ~]$ dd if=/dev/zero of=testfile bs=10240 count=1000000
+1000000+0 records in
+1000000+0 records out
+10240000000 bytes (10 GB, 9.5 GiB) copied, 9.63458 s, 1.1 GB/s
+
+ +
2018-12-03 03:17:28 [administrator@ubuntu ~]$ dd if=/dev/zero of=testfile bs=20480 count=1000000
+1000000+0 records in
+1000000+0 records out
+20480000000 bytes (20 GB, 19 GiB) copied, 16.0786 s, 1.3 GB/s
+
+ +
2018-12-03 03:17:50 [administrator@ubuntu ~]$ dd if=/dev/zero of=testfile bs=4096 count=1000000
+1000000+0 records in
+1000000+0 records out
+4096000000 bytes (4.1 GB, 3.8 GiB) copied, 4.80629 s, 852 MB/s
+2018-12-03 03:25:23 [administrator@ubuntu ~]$ 
+
+ +

可以看到不但大檔案速度都很快,就連小檔案(4096)居然也有852MB

+ +

我底層也不過就是四顆 SATA3 sandisk 240G SSD 而已啊

+ +

如果都換成PCI-E SSD ,嘿嘿…(流口水

+ +
+ +

不過呢,這個也只是自己建的LAB玩玩看而已

+ +

真的要放到 production 環境去,我也還沒啥把握 (畢竟都是中古、二手、退役的產品拼湊起來的)

+ +

而且沒有10G Switch ,所以只能點對點連接

+ +

說不定等到對岸的 10G Switch 開始大降價 (我覺得 8 port SFP+ / NTD $2000 左右我應該就會出手了)

+ +

再來把10G 的環境弄完整一點!