VMWare und SAN

[ThePsycho]

Hallo,

wir planen gerade einen Server einzukaufen, auf dem einige (möglichst viele, bis zu 20) VMWare-Kisten laufen sollen.

Beim letzten Kauf hat sich gezeigt, dass selbst ein recht flottes RAID5 wie eine Handbremse wirkt. Nun ist die Frage, inwieweit SAN da geeignet ist / Besserung bringt.
Schon allein da hier blockorientiert gearbeitet wird, verspreche ich mir da einige positive Effekte.

Leider hab ich bei meiner Recherche bisher nur bunte Werbeprospekte gefunden - die Fakten fehlen bisher.

Daher stellen sich mir noch einige Fragen:
- Wie hoch ist der maximale Durchsatz von einem SAN? Welche Größe beeinflusst maßgeblich?
- Kann man den bestehenden RAID5-Verbund auf das SAN migrieren?
- Für generelle Tipps bin ich auch dankbar, von dem Thema hab ich noch nicht soviel Ahnung, wie man vll herauslesen konnte.

Danke.

edit: Achso, soll unter Linux laufen.

[Gast]

Hallo,

wir planen gerade einen Server einzukaufen, auf dem einige (möglichst viele, bis zu 20) VMWare-Kisten laufen sollen.

Beim letzten Kauf hat sich gezeigt, dass selbst ein recht flottes RAID5 wie eine Handbremse wirkt. Nun ist die Frage, inwieweit SAN da geeignet ist / Besserung bringt.
Schon allein da hier blockorientiert gearbeitet wird, verspreche ich mir da einige positive Effekte.

edit: Achso, soll unter Linux laufen.

Welche Virtualisierungslösung setzt ihr denn ein, doch nicht etwa den einfachen VMWare-Server mit der Achillesferse Storage-I/O?
Mit einem geeigneten Bundle aus VMware ESXi und VMFS, kommt man eigentlich recht nahe an die nativen Leistungswerte des installierten RAIDs. Habt ihr schon mal über ein SSD-Raidarray nachgedacht, damit hätte man auf einem Schlag 10-20x höhere I/O-Performance.

Selbst bei einem stinknormalen HDD-Controller werden die Daten blockweise verarbeitet, ein SAN ist "nur" eine sehr effiziente (im Vergleich zu SMB oder NFS etwa) und schnelle Methode (meist Fibre Channel) die zu verarbeitenden Daten einem i.d.R Serverpark verfügbar zu machen.
Für einen! Server lohnt das sich m.M.n. nicht, da allein die Fibre-Channel-Komponenten einen riesigen Batzen Geld verschlingen, den man besser in ein leistungsfähigeres Raidsystem stecken kann oder die I/O intensiven VMs nativ auf verschiedenen angepassten Servern arbeiten zu lassen.

[Gast]

Da ich nicht direkt editieren kann.

- Wie hoch ist der maximale Durchsatz von einem SAN? Welche Größe beeinflusst maßgeblich?
- Kann man den bestehenden RAID5-Verbund auf das SAN migrieren?


- Hängt von der FC-Installation ab, typisch meist 100-400 MB/s
- natürlich

[ThePsycho]

Welche Virtualisierungslösung setzt ihr denn ein, doch nicht etwa den einfachen VMWare-Server mit der Achillesferse Storage-I/O?
Mit einem geeigneten Bundle aus VMware ESXi und VMFS, kommt man eigentlich recht nahe an die nativen Leistungswerte des installierten RAIDs. Habt ihr schon mal über ein SSD-Raidarray nachgedacht, damit hätte man auf einem Schlag 10-20x höhere I/O-Performance.
Doch, genauso ist es. :)
Und das ganze wird gerade auf meine Schultern abgeladen. Aber ich glaube dann schau ich mich mal in dem ESX-Umfeld um.

Danke vielmals.

[Birdman]

Beim letzten Kauf hat sich gezeigt, dass selbst ein recht flottes RAID5 wie eine Handbremse wirkt. Nun ist die Frage, inwieweit SAN da geeignet ist / Besserung bringt.
Ein SAN ist per se eher langsamer als eine local Storage, sofern man von den selben Diskstypen und Controllern ausgeht.
Vorteil beim SAN ist halt dass es unabhängig vom Rechner ist und dann mit VMWare so Sachen wie Vmotion gehen.

Falls dein bisherigen Raid5 Arrays aus <5 Platten und oder SATA Disks besteht dann hast eh verloren, da sind die IO viel zu niedrig um gescheit VMs drauf laufen zu lassen.
Für sowas eignen sich an sich nur SAS Platten mit 15k, oder teure SSD.

Da wir selber @work mehrere VMWare Server mit localstorage haben (sowie auch solche die an einem IBM SAN angehängt sind) kann ich dir einige Erfahrungswerte geben.

z.B.
- 8x 7.2k SATA im Raid5 ist der obercrap, damit wirds nach 3-4 VMs schon zäh.
- 8x 10k im Raid5 Raptor liegt auch nach 8-9 VM's recht flach, wenn da etwas auf den Kisten gehen sollte.
- 8x 15k SAS im Raid5 arbeiten mit 30VMs noch ohne Probleme...auch bei hohem Load

Alle diese Arrays liefen auf einem Adaptec 5xxx SAS Controller.

- 9x 15k SAS im Raid 5 im SAN mit 4Gbit FC drehen auch noch locker mit 30VMs, ist aber imho doch langsamer als mit der local SAS Storage

Ich habe auch mal einige Benches mit HDTune/HDtachs gemacht, unter einer Windows VM auf diesen Kisten, zudem die PerformanceCounter des ESX angeschaut.


- mit 7.2k SATA kommt man auf so max 450MB/s durchsatz, bei 4-8ms Zugriffzeit und max 3500 I/O

- mit 10k Raptor werdens 650MB/s, 2-3ms sowie 6000 I/O

- mit 15k SAS bekommt man 1600MB/s, 0.2 - 0.4ms Zugriffzeit, sowie ~45k I/O

Das SAN schafft nur knappe 400MB/s, 1ms, und ~30k I/O


Btw. das SAN (10x 147GB 15k SAS) kostete ~20k Euro
Die 8x 300GB 15k SAS mit Adaptec kosteten ~4k Euro ;)

[ThePsycho]

Ah, das hilft mir sehr viel weiter, danke.

War bei dir ESXi/VMFS im Spiel oder auch nur der einfache VMWare-Server?

Den Daten nach wohl nur der einfache, das würde sich dann mit den Erfahrungen bei uns etwa decken.

[Ganon]

ESXi wird übrigens bald kostenlos:

http://www.golem.de/0807/61247.html

[ThEgRaZe]

Wie wäre es mit Sun xVM?
http://www.sun.com/software/products/xvm/index.jsp

[Birdman]

Ah, das hilft mir sehr viel weiter, danke.
War bei dir ESXi/VMFS im Spiel oder auch nur der einfache VMWare-Server?
Den Daten nach wohl nur der einfache, das würde sich dann mit den Erfahrungen bei uns etwa decken.
Wir hatten den normalen GSX VMWare Server nur für so kleine Testprojekte im Einsatz, z.B. auf einer 1U Supermicro Kiste mit 4x 150GB Raptor im Raid10 an einem 3Ware SATA Raidcontroller (+BBU)
Also da drauf waren schon mehr als 2 VMs eine Qual...
Eine Test ESX Installation brauchte aber auch nicht viel mehr, spürbar schneller wars jedenfalls nicht. (Xen (die Opensource Variante) war übrigens auf dieser Kiste auch keinen deut besser)

Ansonsten setzen wir aber grundsätzlich immer ESX mit VMFS(3) ein, da dies theoretisch besser Performen sollte - jedenfalls gemäss VMWare. Zudem sind die Management Tools der GSX Variante deutlich überlegen. (der Nachteil von ESX ist aber, dass wöchentlich (Sicherheits)updates von VMWare rauskommen und diese immer einen Reboot der Kanzen Kiste erfordert...das ist echt schlimmer als jedes WindowsNT, was die reboots anbelangt.)
Dabei achte ich aber mittlerweile immer sehr penibel darauf, dass alle Volumens/Partitions exakt aligned sind.
D.h. die VMFS Partition selber ist aliged, sowie dann auch die VirtualDisks der einzelnen VM's. Dies sollte gemäss VMWare ~20% mehr I/Os liefern als wenn das ganze unaligned ist. (was leider per default der Fall ist, da selbst der aktuelle VMWare Installler dies nicht beachtet)