ZFS und Raid-Z1 im Linux NAS

[mekakic]

Ich habe aktuell ein Win7 NAS woran mich ein paar Dinge stören... unabhängig von den Win7 Problemen, denke ich aber darüber nach es zu ersetzen durch ein Eigenbau SOHO Linux NAS mit 4x4TB Festplatten in Raid-Z1 Konfiguration auf ZFS Basis aufzubauen.

Alles was ich bisher darüber gelesen habe, klingt interessanter als die Hardware Raid Lösungen, die ich in meinen kleinen Server sowieso nicht reinkriege.

Ohne selbst jede praktische Erfahrungen mit zfs würde mich interessieren mit welchen Distributionen bzw Hardware das unterstützungstechnisch am besten funktioniert? Man liest immer von hohen Hardwareanforderungen und ich würde vermeiden wollen meinen kleinen AMD E350 4GB Ram Crucial M4 SSD zu überlasten. Hat jemand sowas schon gemacht und Erfahrungen damit gesammelt?

Auch habe ich gelesen, dass Raid-Z1 für 4 Festplatten nicht optimal ist sondern eher (3,5,9,.. Festplatten) und Z2 mit z.B. 4,6 oder 10 Festplatten optimaler laufen soll. Sollte man sich daran auch halten oder ist das eher akademisch?

Danke!

[kadder]

RAID Z1 entspricht am ehesten einem RAID5 - Du hast immer eine Platte weniger Kapazität als verbaut ist, bei 4x 4 TB bleiben dir 12 TB usw.

RAM ist extrem wichtig - je mehr, desto besser. Ich habe es auf einem HP N36L laufen (da gibt es mittlerweile den N54L (http://www.kadder.de/2013/04/hp-proliant-n54l-perfekt-fur-freenas/), der eine schnellere CPU hat), mit 8 GB RAM - das läuft problemlos. Als OS setze ich auf FreeNAS (http://www.freenas.org). Eine SSD für das OS brauchst du dabei nicht, kannst sie aber als Cache verwenden (was für den Heimgebrauch meist überflüssig sein dürfe).

[Ganon]

Wenn du unbedingt Linux nehmen willst, dann nimm eine von http://zfsonlinux.org/ unterstützte Distribution.

4GB sind aber so ziemlich das Minimum für ein sinnvolles ZFS und man sollte dann auch nicht mehr allzu viel mehr auf der Kiste machen.

Prozessorleistung sollte eigentlich ausreichen. Vllt. nicht unbedingt um ein volles GBit/s zu bedienen, aber so für den Heimgebrauch geht das schon. Ich denke mal der Netzwerkchip wird jetzt nicht so die Wucht sein. Sehe aber dann davon ab Deduplication (bei dem RAM eh nicht ;)), Compression oder Encryption zu verwenden.

Das mit den Festplatten musst wirklich du entscheiden. Bei RAIDZ1 geht halt in etwa eine Platte flöten, bei RaidZ2 dann 2. Bei 4 Platten dürfte RAIDZ2 keinen Sinn machen, da kannst du gleich einen Mirror aus jeweils 2 Platten der jeweiligen Seite machen.

Mein Server läuft unter FreeBSD und hat einen Athlon II X2 mit 2.8Ghz und 12GB RAM und Intel Pro 1000CT NIC. Bedienen tut er 3 3TB Platten im RaidZ1 und noch mal 3 1.5TB Platten ebenfalls im RAIDZ1. Das System liegt auf 2 CompactFlash Chips im ZFS-Mirror. Das Ganze sieht dann so aus:


root@FreeBSD:/root # zpool status
pool: backuptank
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
backuptank ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
label/datadisk1 ONLINE 0 0 0
label/datadisk2 ONLINE 0 0 0
label/datadisk4 ONLINE 0 0 0

errors: No known data errors

pool: datatank
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
datatank ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
label/datadisk5 ONLINE 0 0 0
label/datadisk6 ONLINE 0 0 0
label/datadisk7 ONLINE 0 0 0

errors: No known data errors

pool: zroot
state: ONLINE
scan: none requested
config:

NAME STATE READ WRITE CKSUM
zroot ONLINE 0 0 0
mirror-0 ONLINE 0 0 0
gpt/disk0 ONLINE 0 0 0
gpt/disk1 ONLINE 0 0 0

errors: No known data errors

[sei laut]

Raid5/Raid Z1: 3-4 Festplatten
Raid6/Raid Z2: ab 6 Festplatten
Raid5 und 5 Festplatten ist ein mieser Kompromiss in meinen Augen. Aber wo man die Grenze setzt, ist halt persöhnliches Empfinden.

[mekakic]

Bei Ubuntu soll die Unterstützung ja vergleichsweise gut sein... wobei ich die Sache auch noch nicht komplett durchdacht habe, ZFS liest sich immer sehr interessant (auch die Sache mit den SSD Log Caches) und ich hab größenteils eher schlechte Erfahrungen mit Raid Hardware gemacht. Das ist zumindest meine aktuelle Grundlage für ZFS.

Wenn man das hier liest scheint Linux aber nicht die beste Wahl zu sein: http://serverfault.com/questions/357518/will-a-ssd-cache-increase-native-zfs-performance-for-me

Evtl. wäre auch OpenSolaris eine Option aber damit sind meine Erfahrungen alt und dünn.

[Ganon]

Bevor du sowas totes wie OpenSolaris nimmst, nimm lieber FreeBSD ;) Die Doku ist echt super.

Aber bei deiner Hardware allgemein dürfte ein SSD Log Cache (der übrigens im Mirror laufen sollte, sonst sind beim Stromausfall Daten ggf. weg) eher sowieso nicht sooooooo viel bringen. Probiere es doch einfach mal so aus.

[Nagelbrett]

4GB sind aber so ziemlich das Minimum für ein sinnvolles ZFS und man sollte dann auch nicht mehr allzu viel mehr auf der Kiste machen.
Das halte ich für ein Gerücht. Wenn man es tatsächlich nur als Home-NAS verwendet, wo größtenteils nur ein User gleichzeitig drauf zugreift, ist das alles nicht so schlimm.
Ich verwende ZFS in meinem NAS bereits seit 2009 (damals noch OpenSolaris) und habe vor kurzem auf zfsonlinux migriert. Mir ist vor einer Weile einer der RAM-Riegel kaputt gegangen und es läuft seitdem mit 2GB - ich merke keinen wirklichen Unterschied.
Den RAM brauchst du im Grunde nur als Cache für heavy workloads, weiß ja nicht was der Threadersteller damit vor hat...

[Ganon]

Naja, gerade wenn man viele kleine Dateien überträgt sind 2GB zu wenig. Dann bricht die Performance extrem ein. Natürlich kann man ZFS auch mit 1GB betreiben, aber es ging halt um das "sinnvoll". Man will ja vom System auch das meiste heraus holen.

[Coda]

Raid5/Raid Z1: 3-4 Festplatten
Raid6/Raid Z2: ab 6 Festplatten
Raid5 und 5 Festplatten ist ein mieser Kompromiss in meinen Augen. Aber wo man die Grenze setzt, ist halt persöhnliches Empfinden.
Ich hab nen Z2 sogar mit 5 Platten laufen. Daten-Paranoia :(

[mekakic]

Danke schonmal... ich werde wohl dann auf FreeBSD setzen.

Kann ich eigentlich einen ZFS RAID Z1 Pool nachträglich leicht zu einem Z2 Pool machen? Also wenn ich erstmal mit einem Z1 starte und später eine zweite Paritätsplatte hinzufügen möchte?

Was den Speicher angeht... mein Board kann ich noch aufrüsten und 8GB Speicher kosten ja auch keine 50€... das würde ich mir im Zweifel dann eben gönnen. SSD Cache klingt auch gut... mal gucken, gibt ja viel Material zum Lesen.

Vermutlich werde ich mir aber erstmal ein Testsystem auf Basis von mehreren alten Platten zusammenbauen. Ursprünglich wollte ich direkt die Seagate 4TB NAS Platte nehmen, aber ein befreundetes Systemhaus hat mit mal deren RMA Stapel gezeigt: trotzdem die Seagate nur in Ausnahmen verbauen, hatte sich dort ein Wolkenkratzer gebildet. Ich werde wohl auf die WD Red 4TB oder 5TB warten, die in Q3 erscheinen sollen.

EDIT: Ich habe noch was zum dynamic pool gelesen, gelesen aber bin nicht sicher ob das die Konsequenz ist: Kann man eigentlich ein Raid Z durch iteratives Festplattentauschen aufrüsten? Ich habe z.B. angenommen 4x2TB im Raid Z1. Ich erstetze die erste Platte durch eine 4TB Platte. Der "Fehler" wird entdeckt und ein Rebuild gemacht, wenn der durch ist wiederhole ich den Vorgang mit der nächsten Platte und immer so weiter bis ich 4x4TB im Raid habe. Und ab diesem Punkt kann ich dann auch die volle Kapazität eines 4x4TB Raid Z1 nutzen?

[Ganon]

Kann ich eigentlich einen ZFS RAID Z1 Pool nachträglich leicht zu einem Z2 Pool machen? Also wenn ich erstmal mit einem Z1 starte und später eine zweite Paritätsplatte hinzufügen möchte?

Nein, das geht nicht. Es schwirren zwar Anleitungen im Netz herum, aber ich wäre da vorsichtig.

Kann man eigentlich ein Raid Z durch iteratives Festplattentauschen aufrüsten

Ja, das geht. Muss dabei nur nebenbei "beten", dass während dieses Vorgangs dir nicht eine Platte aussteigt.

[mekakic]

Das wäre dann wohl eher was für ein Z2?! :)

[Ganon]

Das wäre dann wohl eher was für ein Z2?! :)

Im Prinzip schon, damit verringerst du die Wahrscheinlichkeit halt weiter. >Unmöglich< ist es natürlich nicht, dass gleichzeitig 2 Platten aussteigen. Ist halt immer ein gewisses Risiko da. Aber die Wahrscheinlichkeit, dass bei dem Vorgang eine Platte aussteigt ist schon gar nicht sooo gering. Gerade wenn alle schon ein gewisses Alter erreicht haben.

Prinzipiell ist RAID kein Backup und man sollte auch immer ein Backup dabei haben. Ich weiß, dass sind immer große Töne, ich habe von meinen ~3.5TB Daten auf meinem Server auch kein extra Backup.

[Watson007]

Prinzipiell ist RAID kein Backup und man sollte auch immer ein Backup dabei haben. Ich weiß, dass sind immer große Töne, ich habe von meinen ~3.5TB Daten auf meinem Server auch kein extra Backup.

bei meinem nächsten Server will ich ein Raid mit 4x4 TB aufbauen, und eine weitere interne Festplatte zur Datensicherung nutzen :)

spricht ja nichts dagegen RAID mit einer separaten Datensicherungs-Festplatte zu nutzen...

[mekakic]

Im Prinzip schon, damit verringerst du die Wahrscheinlichkeit halt weiter. >Unmöglich< ist es natürlich nicht, dass gleichzeitig 2 Platten aussteigen. Ist halt immer ein gewisses Risiko da. Aber die Wahrscheinlichkeit, dass bei dem Vorgang eine Platte aussteigt ist schon gar nicht sooo gering. Gerade wenn alle schon ein gewisses Alter erreicht haben.

Prinzipiell ist RAID kein Backup und man sollte auch immer ein Backup dabei haben. Ich weiß, dass sind immer große Töne, ich habe von meinen ~3.5TB Daten auf meinem Server auch kein extra Backup.
Schon klar... so ein verdammt großes Raid mit z.B. 5x4TB auf andere Hardware zu migrieren ist halt nur extrem unhandlich, da ist es u.U. schon eine Option.

Könnte man kurzfristig z.B. über USB3 auch eine Hot Spare hinzufügen? Es wäre schon praktischer wenn man leichter zwischen einem Z1 und Z2 wechseln könnte, aber ein großer Gewinn gegenüber dem ganzen Raid Controller Gefummel bleibt es dennoch.

[Ganon]

bei meinem nächsten Server will ich ein Raid mit 4x4 TB aufbauen, und eine weitere interne Festplatte zur Datensicherung nutzen :)

Ich persönlich würde davon abraten das Backup im System zu lassen. Wenn durch einen Defekt/Panic/Blitz/wasauchimmer die Soft-/Hardware gegrillt wird, ist die Datensicherung auch hin. Lieber eine externe Platte.

@mekakic

Eine Hotspare bringt dir in dem Fall ja nichts, da die erst aktiv wird, wenn eine Platte ausfällt. Hotspares hinzufügen geht aber natürlich.

[mekakic]

Klar... hab nur lt. gedacht wenn man einfach von Z1 auf Z2 gekommen wäre. Ich habe noch 500GB über WebDAV die ich für Backups nutzen wollte sowie 4TB auf extern.

Die wichtigsten Sachen gehen zusätzlich verschlüsselt in die Cloud. Bei meiner Leitung kriege ich etwa 40GB pro Nacht weggeschaufelt... muß mal überlegen wie ich das neu aufsetze, um per delta-Übertragung bzw. Differenz oder Inkrementell Backup da möglichst nicht drüber zu kommen.

Oder kann man für Backups gut die snapshot Funktion von ZFS nutzen? Mit dem Start des Backups wird ein Snapshot angelegt und das Differenzbackup zum Vortag muß dann in 24 statt 8 Stunden in die Cloud befördert werden. Wenn das Backup abgeschlossen ist, wird der Snapshot wieder entfernt. Auch wenn man sich damit die Leitung dann ziemlich zumüllt.

[Ganon]

zfs send/receive angucken. Da geht genau das was du willst.

[drdope]

Die wichtigsten Sachen gehen zusätzlich verschlüsselt in die Cloud. Bei meiner Leitung kriege ich etwa 40GB pro Nacht weggeschaufelt... muß mal überlegen wie ich das neu aufsetze, um per delta-Übertragung bzw. Differenz oder Inkrementell Backup da möglichst nicht drüber zu kommen.

Rsync wäre z.B. eine Möglichkeit...
:)

[Ganon]

Rsync wäre z.B. eine Möglichkeit...
:)

Unnötig kompliziert und fehleranfällig bei ZFS. Ein Backup bei ZFS läuft so:

- Snapshot machen
- Snapshot wegkopieren

Fertig. Dann hat man ein Backup auf Block-Ebene und spart massiv Speicher. Änderst du 100kb in einer 10GB Datei, dann ist dein Backup ~100kb groß.

[drdope]

Unnötig kompliziert und fehleranfällig bei ZFS. Ein Backup bei ZFS läuft so:

- Snapshot machen
- Snapshot wegkopieren

Fertig. Dann hat man ein Backup auf Block-Ebene und spart massiv Speicher. Änderst du 100kb in einer 10GB Datei, dann ist dein Backup ~100kb groß.

Jein...
a) Rsync überträgt auch nur ein "Diff"
--> http://de.wikipedia.org/wiki/Rsync#Funktionsweise
b) Wenn man die Daten per Rsync auf eine weitere Maschine sichert, kann man auf diese ohne Rücksichern von Snapshots direkt zugreifen, was imho ein großer Vorteil ist.

Wobei es da sicher auch - je nach konkreten Anwendungsfall Vorteile für die eine oder andere Lösung gibt.

Ich hab das ganze z.B. bei mir so gelöst, daß mein SpielePC um 6x4TB und einen SAS/Sata-Controller ergänzt wurde.
Einmal im Monat, klemm ich da die HDDs dran (= 2x Stromkabel vom NT/2x SFF-8087-Kabel und boote ein weiteres FreeNAS, daß dann via rsync den Server sichert.
Ist sicher nicht die eleganteste Lösung, aber sehr pragmatisch für den Heimeinsatz -> ich spare mir zusätzliche Hardwarekosten (SpielePC ist eh da) und wenn ein Upgrade anfällt, kann ich einfach auf dem 2.-System ein neues Array erstellen, es befüllen und in das primäre NAS migrieren.
Im Gegensatz zum iterativen durchtauschen mit zwischenzeitlichen Rebuilds bleibt so auch das originäre Array unangetastet.

[Ganon]

Jein...
a) Rsync überträgt auch nur ein "Diff"

Aber ZFS _speichert_ auch nur den Diff. Prinzipiell ist das mit Löschen und Verschieben von Dateien einfacher handhabbar. Es belegt nicht ewig viel Speicher im Backup.

[mekakic]

Danke... ich habe gerade mal erste Tests mit FreeBSD in einer VirtualBox gemacht, bringt doch mehr als das theoretisch zu lesen. Ich werde die Tage mal versuchen ein physikalisches Testsystem aufzusetzen... dabei geht es mir um zwei Dinge. Man liest viel über Ram und CPU Verbrauch und ich überlege gerade mit gleich eine erneuerte Kiste aufzubauen mit 6x3TB im RaidZ2, statt die alten Gegenbenheiten zu nutzen. Dafür müßte ich aber ein Gefühl für das Bang-for-the-Bucks :) bekommen.

Was ist eine relastische Performance wenn man auf so einer Hardware wie oben versucht über NFS eine große Datei zu schreiben? Aktuell erreiche ich ohne Redundanz übers Netz unter Windows 7 etwa 90-100MiB/s.

Würden in dem Zusammenhang der Hashgenerierung (und evtl. gar Encryption) eine Intel CPU mit AES-NI Instructions etwas bringen? Kann FreeBSD davon profitieren?

Die Sache mit den SSD-Caches interessiert mich vorallem, da ich mir vorstellen könnte damit eine gute Portion Lesezugriffe auf dem Verzeichnis selbst zu buffern und trotz evtl zyklischen Lesezugriffe doch die Festplatten nicht dauerhaft am Spindown zu hindern?

[Ganon]

Nebenbei bemerkt würde ich auch das Spindown der Festplatten sein lassen. Das schadet im Endeffekt mehr als es bringt. Aber das ist auch schon fast eine Religion. Ich für meinen Teil würde entsprechende 24/7 Platten einfach laufen lassen. Meine Erfahrung ist, dass die Teile eh immer wegen jedem scheiß wieder aufgeweckt werden.

FreeBSD nutzt OpenSSL, was dann auch AES-NI beherrscht. Also ja, es profitiert davon.

Welche Performance du erreichst kann man schlecht raten. Das musst du ausprobieren. Bei entsprechender Netzwerkkarte / CPU solltest du aber 90MB/s erreichen können. Hängen dann aber auch von den Daten ab und woher sie kommen.

[drdope]

Danke... ich habe gerade mal erste Tests mit FreeBSD in einer VirtualBox gemacht, bringt doch mehr als das theoretisch zu lesen. Ich werde die Tage mal versuchen ein physikalisches Testsystem aufzusetzen... dabei geht es mir um zwei Dinge. Man liest viel über Ram und CPU Verbrauch und ich überlege gerade mit gleich eine erneuerte Kiste aufzubauen mit 6x3TB im RaidZ2, statt die alten Gegenbenheiten zu nutzen. Dafür müßte ich aber ein Gefühl für das Bang-for-the-Bucks :) bekommen.

Was ist eine relastische Performance wenn man auf so einer Hardware wie oben versucht über NFS eine große Datei zu schreiben? Aktuell erreiche ich ohne Redundanz übers Netz unter Windows 7 etwa 90-100MiB/s.

Ich komme auf meinem 6HDD RaidZ1 je nach übertragener Dateigröße (je größer, desto fixer) auf auf 70-110MB/s im Mittel lesend/schreibend via AFP.
(70MB/s -> MP3/Flac-Sammlung; 110MB/s --> HD-Filme/Serien).

Als CPU kommt ein Xeon E3-1230 zum Einsatz; Mainboard ist ein Supermicro X9SCL-F mit onboard Intel-Nic und 16GB ECC-RAM.
Ist für den Hausgebrauch sicher Overkill, jedoch wollte ich auf ECC-RAM bei einem "Software-Raid" nicht verzichten und KVMoverIP macht die Remote-Administration (Server steht im Keller) sehr komfortabel.
:)

[kadder]

Nebenbei bemerkt würde ich auch das Spindown der Festplatten sein lassen. Das schadet im Endeffekt mehr als es bringt. Aber das ist auch schon fast eine Religion. Ich für meinen Teil würde entsprechende 24/7 Platten einfach laufen lassen. Meine Erfahrung ist, dass die Teile eh immer wegen jedem scheiß wieder aufgeweckt werden.


Das mit dem Aufwecken stimmt - habe das auch eine Zeitlang mal eingestellt gehabt, aber dann wieder deaktiviert. Was ich im Moment bei meinem FreeNAS benutze ist ein kleines Script, welches das System herunterfährt, wenn sich für 15min kein anderes System im Netz via Ping gemeldet hat (was in der Regel erst der Fall ist, wenn man Abends pennen geht). Tagsüber ist es dann ganz aus und wird abends via Wake-On-LAN wieder gestartet - schont die Stromrechnung und hat eigentlich keine Nachteile (selbst über VPN von außerhalb kann man es via WOL starten).

[Lokadamus]

Im Tuningguide von FreeBSD/ ZFS gibt es ein paar Tipps.
https://wiki.freebsd.org/ZFSTuningGuide
Hat die mal jemand überprüft?

[Ganon]

Im Tuningguide von FreeBSD/ ZFS gibt es ein paar Tipps.
https://wiki.freebsd.org/ZFSTuningGuide
Hat die mal jemand überprüft?

Ich würde von sämtlichen Tuning-Tipps auf einem FreeBSD 9.x mit 64bit abraten. Was man der Seite entnehmen kann sind die RAM-Anforderungen der entsprechenden Features, aber mehr auch nicht.

Man sollte erst dann mit tunen anfangen, wenn man ernsthafte Probleme hat und nicht einfach sich selbst was "zusammentunen".

FreeBSD hat mit den letzten Updates und zukünftigen immer weitere Features bekommen bestimmte Problemstellen selbst zu erkennen, um sie dann eigenständig anzupassen. Das gelingt natürlich nicht immer und dann ist Eigenes gefragt, aber im Großteil der Fälle braucht man gar nichts tun.

Mögliche Problemstellen wären z.B. wenn man ZFS auf einer Maschine mit 4GB RAM laufen lassen und nebenbei auch noch Datenbank und Webserver haben will. Das kann unter Umständen in die Hose gehen mit den Default-Werten, erst dann muss man was anpassen.

[mekakic]

Wie reagiert den ZFS wenn der Speicher knapp wird?

Zu den Möglichkeiten der Erweiterung eines RaidZ habe ich dies hier gefunden:
https://blogs.oracle.com/ahl/entry/expand_o_matic_raid_z

Das liest sich eigentlich ganz brauchbar... nur leider schon von 2008 und ich habe auch keine ZFS Roadmap gefunden, ob Oracle das irgendwie auf dem Schirm hat.

[mekakic]

Das mit den Festplatten musst wirklich du entscheiden. Bei RAIDZ1 geht halt in etwa eine Platte flöten, bei RaidZ2 dann 2. Bei 4 Platten dürfte RAIDZ2 keinen Sinn machen, da kannst du gleich einen Mirror aus jeweils 2 Platten der jeweiligen Seite machen.
Dazu nochmal. Bei einem 4 Platten Mirror aus 2 Daten und 2 Mirrorplatten hat man gegenüber einem RaidZ2 doch den Nachteil, dass zwar 2 Platten ausfallen dürfen, aber wenn es blöd läuft genau die zwei falschen. D.h. es fällt die Daten und Mirror Platte gleichzeitig aus und die andere Datenplatten plus ihre Redundanzplatte laufen weiter. Zumindest wenn sich ZFS da analog zu Raid1 verhält?

[Ganon]

Wie reagiert den ZFS wenn der Speicher knapp wird?

Es wird langsamer.

Das liest sich eigentlich ganz brauchbar... nur leider schon von 2008 und ich habe auch keine ZFS Roadmap gefunden, ob Oracle das irgendwie auf dem Schirm hat.

Was Orcale auf dem Schirm hat, in Sachen ZFS ist relativ egal. Die rücken den Sourcecode eh nicht mehr (brauchbar) raus. Darum entwickeln andere bereits ZFS auf eigene Faust weiter. Sie haben u.a. bereits TRIM-Support eingebaut. Kommt dann mit FreeBSD 10 (vllt. auch schon 9.2).

Dazu nochmal.

Ja gut, das stimmt. War auch nicht wirklich ernsthaft gemeint. ;) Allgemein sollte man nicht versuchen irgendwas zu emulieren.

[mekakic]

Was Orcale auf dem Schirm hat, in Sachen ZFS ist relativ egal. Die rücken den Sourcecode eh nicht mehr (brauchbar) raus. Darum entwickeln andere bereits ZFS auf eigene Faust weiter. Sie haben u.a. bereits TRIM-Support eingebaut. Kommt dann mit FreeBSD 10 (vllt. auch schon 9.2).Ok, das wußte ich nicht. Hab auch gerade erst gelesen, dass OpenSolaris eingestellt ist. Entwickeln sich hier inkompatible Versionen zueinander? v28 ist dann wahrscheinlich die Basis für weitere Community Entwicklungen, oder?

Wie entwickelt sich denn da die Zukunft... gerade die ZFS interoperabilität zwischen Systemen gefällt mir aktuell ausgesprochen gut.

[Ganon]

Ok, das wußte ich nicht. Hab auch gerade erst gelesen, dass OpenSolaris eingestellt ist. Entwickeln sich hier inkompatible Versionen zueinander?

Jaein. Es ist schon eine gewisse Zusammenarbeit da, jedoch arbeiten alle auf ihrem Stand und portieren hin und her. Das liegt einfach daran, dass ein Dateisystem leider ziemlich fest verzahnt ist, wenn man alles nutzen will. Und ZFS bietet ja abseits von "Dateien speichern" ja auch noch so Sachen wie NFS und SMB Sharing, abgesehen von dem ganzen LVM Kram.

v28 ist dann wahrscheinlich die Basis für weitere Community Entwicklungen, oder?

Genau. Der letzte Stand den Sun/Oracle veröffentlicht hat. Afaik arbeiten auch kaum noch ZFS-Entwickler bei Oracle. Kann mich aber auch irren.

Wie entwickelt sich denn da die Zukunft... gerade die ZFS interoperabilität zwischen Systemen gefällt mir aktuell ausgesprochen gut.

Vor kurzem wurden "Feature Flags" implementiert. Das ist eine Tabelle was für Features eine bestimmte ZFS-Implementierung bietet und welche Features im aktuellen Dateisystem genutzt werden (Kompression, Dedup, etc.). Anhand dieser kann (sobald der Stand erreicht ist in jeder Implementierung) nachgesehen werden wie ein Dateisystem Lesend, Schreibend oder gar nicht eingebunden werden kann.

[mekakic]

Ok... das Testsystem läuft aber viel hab ich noch nicht testen können (das Wetter ist einfach zu geil). Wenn sich da so wie ich es einsetzen möchte keine Probleme entwickeln, hab ich mir jetzt überlegt Hardware gleich direkt neu Anzuschaffen. Aktuell ist die Lösung bzgl. Redundanz nicht optimal und ich hoffe, dass dadurch deutlich zu verbessern. 3 Personen würden den Server nutzen, alle Privat plus meine Freundin auch für ihre Tätigkeit als Fotogräfin.

Da man leider einen RaidZ Pool ja nicht mehr in der Zusammensetzung verändern kann, hab ich mir überlegt statt auf die WD Red 5TB zu warten bereits jetzt zu kaufen und direkt den Vollausbau zu machen. Geplant ist dann statt 3+1 Z1 mit 5TB irgendwann im Herbst/Winter, jetzt ein RaidZ2 mit 4+2 Festplatten WD Red 3TB zu bauen. Die sind relativ günstig und bereits bewährt, bieten in dem Setup mehr Redundanz und ich kann dann lieber mal den ganzen Satz erneuern wenn 5 oder 6TB günstig sind. Es ist so oder so mehr als aktuell gebraucht wird.

Ich möchte schon relativ optimale Performance haben, ich ärgere mich nur wenn ich am Ende irgendwo ne Bremse drin habe. Passendes Netzteil habe ich noch, aber ausgesucht für den Server/NAS habe ich mir jetzt mal folgende Hardware... und ich google mir gerade noch die Finger wund in Richtung FreeBSD Kompatibilität. Ich war zumindest überrascht, dass der Aufpreis für ECC Server Komponenten gar nicht so groß ist und hab die Sachen jetzt erstmal auf die Einkaufsliste gepackt.

CPU:Intel Xeon E3-1220LV2, 2x 2.30GHz, 17W TDP (http://geizhals.at/781395)
Maindboard:Intel S1200KP, Intel C206 (B3) (dual PC3-10667E DDR3) (http://geizhals.at/680380)
Ram: 16 GB ECC Ram PC3-10667E ECC CL9 (DDR3-1333) (http://geizhals.at/697913)
Controller:IBM ServeRAID M1015, PCIe 2.0 x8 (http://geizhals.at/815389)
HDD: 6 x Western Digital Red 3TB (http://geizhals.at/807343)
Case: Lian Li PC-Q25B Cube (http://geizhals.at/660357)

Installiert wird das ganze auf einer Crucial SSD 128GB M4 und dafür könnte ich noch eine große Portion als L2ARC abkapseln. Evtl. kaufe ich mir noch eine 60GB SLC SDD als ZIL... aber das muß ich erstmal abwarten.

Haupteinsatz ist NFS und wäre auch für meine Freundin (MacBook) erste Anlaufstelle, zusätzlich SMB und da bin ich noch nicht sicher, ob man ein komplettes Samba4 Setup machen soll... aber damit werde ich die nächsten Tage auf meinem Testsystem mal experimentieren.

[Ganon]

Vllt. als Tipp, nimm nicht alle Platten von der gleichen Reihe/Hersteller. Ich weiß, dass ist preislich manchmal schwer, aber wenn du einen Serienfehler hast, kann es sein, dass die auch gerne mal 3 Platten parallel aussteigen.

Weiterhin den ZIL bitte im Mirror wenn du sowas machen willst. Ansonsten hast du Datenverlust, wenn die SSD aussteigt.

Ein FreeBSD belegt bei "nur NFS" nicht mal 1GB auf der Platte, da alles schon dabei ist. Mit Samba bist du vllt. etwas drüber. Also hast du mit 128GB genug.

Denke auch an genügend Luft für die Platten. Ich hatte das zumindest unterschätzt wie viel Platz die brauchen. Hier 6 Platten in einem Miditower:

http://xenon.42degreesoffreedom.com/~matti/HDD.jpg

[mekakic]

Ich wollte die Platten alle zumindest bei unterschiedlichen Händlern kaufen.

Das mit dem Mirror bei der ZIL hab ich auch gelesen... muß mal schauen, ob mir das überhaupt was bringt. Ein zwei Server Prozesse sollen beim FreeBSD auf jeden Fall noch dazu... muß noch gucken was geht, da bin ich gerade noch nicht fertig. Weißt Du wann FreeBSD 10 erscheinen soll und hast Du Erfahrungen mit Versions Updates in der Vergangenheit machen können?

Gehäuselüftung soll hinzu... der Server wird in einer befliesten Souterrain Abstellkammer stehen, direkt neben dem zentralen Patchfeld. Dort sind es fast Kellertemperaturen aber Wohnraum-Luftfeuchtigkeit. Sollte eigentlich ideal sein als Serverstandort.

[Ganon]

Ich wollte die Platten alle zumindest bei unterschiedlichen Händlern kaufen.

Das hilft dir bei defekten auch nicht :D

Weißt Du wann FreeBSD 10 erscheinen soll und hast Du Erfahrungen mit Versions Updates in der Vergangenheit machen können?

Wann FreeBSD 10 erscheint wurde noch nicht verkündet. Das kann aber noch dauern. Updates von FreeBSD sind die problemlosesten die ich bisher durchgeführt habe. Man muss sich aber an die Anleitung halten.

[mekakic]

Danke.

Ich finde nebenbei wenig Alternativen zur WD Red, wenn man Seagate nicht will. 3TB, 4K Sektoren und 24/7 Betrieb, dazu einigermaßen genügsam im Betrieb... geht ja auch alles in Gehäuse die Wärme.
http://geizhals.at/de/?cat=hde7s&sort=-p&xf=1654_4KB+Sektoren%7E957_HGST%7E957_Toshiba%7E957_Western+Digital%7E957_Samsun g%7E957_Hitachi%7E958_3000%7E1541_3000%7E1654_geeignet+f%FCr+Dauerbetrieb#xf_top

[Ganon]

4k Sektoren hat übrigens jede 3TB Festplatte. Anders geht es gar nicht. Musst bei der Installation aber aufpassen, damit du ZFS auch wirklich auf die 4K ausrichtest.

Hier (xenon.42degreesoffreedom.com/~matti/ZFSonRoot.sh) findest du übrigens eine ZFSonRoot Skript von mir, der FreeBSD auf den angegebenen Datenträgern im Mirror installiert. Das kann man dann natürlich auch nur angucken, damit du weißt wie entsprechende Ausrichtungen zu machen sind.

[mekakic]

Danke für das Script! :) Sehr interessant... ich wusste auch noch gar nicht wie hierarchisch sich die ganzen Properties im zfs-tree anlegen lassen. :up: Hab auch schon drüber nachgedacht, dass /var /tmp & Co. sich gut für Compression und Deduplication eignen würden. Wieso hier nicht beiden?

[Ganon]

Deduplication geht verdammt auf die Performance und frisst massiv RAM. Der Vorteil dürfte gerade bei den Ordnern verdammt gering sein. Deduplication lohnt sich erst, wenn du viele gleiche Dateien bedienen musst. Faustregel ist übrigens so 3-5GB RAM pro 1TB Deduplication.

Kompression ist ja bei den Ordnern an auch hier nach Performance gewählt.

[mekakic]

Ok... so wichtig ist mit der Platz nicht. :) Ich dachte eben bei den kleinen Ordnern kostet das eben auch nicht viel.

[mekakic]

Nochmal zum Ram Verbrauch: bei einem RaidZ hieß es man soll 1GB pro TB Plattenplatz einplanen (ohne Deduplication). Heisst das 1GB zusätzlich zu dem Grund-RAM Verbrauch oder insgesamt? D.h. wenn ich sechs Festplatten mit einer Brutto Gesamtkapazität von 18TB zusammenbaue, komme ich dann mit 16GB Ram noch gut aus, oder könnten es ruhig eher 26GB (8+18GB) sein? Da RAM ja nicht soviel kostet, überlege ich gerade direkt 32GB ECC Ram zu verbauen.

Ich hab Testweise ein System zusammengeschraubt mit ZIL und L2ARC sowie einem 3 HDD ZPool (JBOD), was kaum mehr als 25MB/s geschafft... das Testsystem hatte einen Pentium E2140 und gerade mal 1GB Ram. Wenn ich jetzt noch irgendwo DDR2 Ram finde wollte ich mal gucken, wie es mit dem Ram skaliert.

[drdope]

Nochmal zum Ram Verbrauch: bei einem RaidZ hieß es man soll 1GB pro TB Plattenplatz einplanen (ohne Deduplication). Heisst das 1GB zusätzlich zu dem Grund-RAM Verbrauch oder insgesamt? D.h. wenn ich sechs Festplatten mit einer Brutto Gesamtkapazität von 18TB zusammenbaue, komme ich dann mit 16GB Ram noch gut aus, oder könnten es ruhig eher 26GB (8+18GB) sein? Da RAM ja nicht soviel kostet, überlege ich gerade direkt 32GB ECC Ram zu verbauen.

Mach dir da im privaten Bereich keinen Kopf drum; die Empfehlung bezieht sich afaik auf Multiuser/Produktivumgebungen.
Im Heimeinsatz/Singleuser reichen 8GB locker aus, da würde ich mir eher Gedanken um eine brauchbare USV machen.