Archiv verlassen und diese Seite im Standarddesign anzeigen : ssd als cache für fileserver
Hi!
Ich habe hier einen kleinen "Fileserver" (4x500GB als Raid10 an einem Adaptec 2405-Controller, Samba, 2x1GBit, noch Opensuse 11.1) stehen. Zugriff von ~ 10 PCs auf mäßig viele kleine und mittlere Dateien.
Gibt es unter linux mittlerweile die Möglichleit, diesem Raid per Software eine SSD als (Lese-)Cache vorzuschalten? Das dürfte die Zugriffszeiten ja erheblich beschleunigen.
Habe was von bcache und flashcache gelesen, ist sowas schon praktikabel?
gute idee und dein 100mbit netzwerk wird auch garnicht bremsen
es sind eher 2GBit:ulol:, ist aber wirklich nur ne fixe Idee, ist wohl besser, für einen ausreichend großen Cache im RAM zu sorgen...
ZFS kann das:
http://blogs.oracle.com/brendan/entry/test
klutob
2011-08-20, 11:33:29
Adaptec liefert auf Wunsch Controller+SSD (32GB oder 64GB SLC SSD) inkl. Software (MaxIQ bzw. MAxCache), kostet natürlich eine "Kleinigkeit".
Die beiden von dir geposteten Möglichkeiten befinden sich halt immer noch in starker Entwicklung und werden noch nicht kritische Applikationen empfohlen.
Oder man steigt nach einem Vollbackup auf *BSD um und nutzt ZFS, speziell dessen Möglichkeiten das Journal-Log (ZIL) und Sektor-Cache (L2ARC) auf eine (SLC)-SSD auszulagern.
qiller
2011-08-20, 11:52:47
gute idee und dein 100mbit netzwerk wird auch garnicht bremsen
Kommt ganz auf die Dateizugriffe an, noch nie den AS SSD Bench auf ner normalen Platte laufen lassen?^^
mfg Olli
die software varianten sind leider alle unausgegoren. greife lieber zu einem anständigen intel (bzw lsi) raid controller mit der cachecade funktion.
die software varianten sind leider alle unausgegoren. greife lieber zu einem anständigen intel (bzw lsi) raid controller mit der cachecade funktion.
Das ist auch Software.
Lokadamus
2011-09-01, 16:33:39
für einen ausreichend großen Cache im RAM zu sorgen...mmm...
Wieviel Ram ist hier den überhaupt enthalten?
Welche Samba- Version wird eingesetzt und in wie weit ist die angepasst?
Das ist auch Software.
macht der raid controller aber unabhängig vom OS und Filesystem, und vor allem zuverlässig und verdammt schnell.
Benedikt
2011-09-01, 21:17:16
ZFS kann das:
http://blogs.oracle.com/brendan/entry/test
Oh ja cool! Und wo wird ZFS (im Kernel, der FUSE-Kinderkram kann mir gestohlen bleiben) noch verwendet, außer unter FreeBSD, welches vom Featureset ansonsten Linux stetig hinterherhinkt, und OpenSolaris, welches offensichtlich tot ist? :wink:
mmm...
Wieviel Ram ist hier den überhaupt enthalten?
Welche Samba- Version wird eingesetzt und in wie weit ist die angepasst?
sind zur Zeit 2GB Ram
Inwieweit müßte/könnte Samba angepasst werden?
Bei cat /proc/meminfo habe ich einiges an free, also cached er wohl nicht wirklich so viel, wie gewünscht.
Bei großen Dateien sind von hardwaremäßig halbwegs aktuellen Clients so ca. 70MB/s drin, was wohl ganz i.O. ist.
Eigentlich gibt es also kein Problem, ne SSD wäre wohl doch Overkill - interessant wäre evtl. halt mehr billigen RAM reinzustecken und den als Cache wirklich zu nutzen.
Opensolaris ist tot? Ich dachte, das könnte man demnächst auch mal auspobieren??
Benedikt
2011-09-01, 22:19:09
Opensolaris ist tot? Ich dachte, das könnte man demnächst auch mal auspobieren??
Die Zeichen stehen darauf, dass Oracle sich wohl nicht mehr sonderlich drum schert. Wäre ja auch zu hinterfragen warum:
Linux: Größte HW-Kompatibilität, unglaubliches Entwicklungstempo, enorm hohe Zahl an Contributors. Im Moment kein NextGen-Filesystem, obwohl btrfs heranwächst (ironischerweise von Oracle gesponsort).
FreeBSD: DTrace und ZFS v.15 für diejenigen, die's brauchen. Brauchbare HW-Kompatibilität.
OpenSolarisOpenIndiana/Illumos: ZFS v.28. Ansonsten: For the fun of it?
Lokadamus
2011-09-01, 22:22:58
sind zur Zeit 2GB Ram
Inwieweit müßte/könnte Samba angepasst werden?
Bei großen Dateien sind von hardwaremäßig halbwegs aktuellen Clients so ca. 70MB/s drin, was wohl ganz i.O. ist.
Opensolaris ist tot? Ich dachte, das könnte man demnächst auch mal auspobieren??mmm...
2GB sollten für 10 Mann reichen, wobei ich selber nachschauen müsste, wo es Tuning Guides für Samba gibt. Selbst ein ordentliches NAS hat nur einen Atom- Dualcore und läuft mit guter Geschwindigkeit.
Kannst mal nachschauen, welche Samba- Version drauf läuft und ob es da Performenceprobleme bzw. in höheren Versionen Performenceverbesserungen gibt.
Dein Problem scheint eher zu sein, dass entweder regelmäßig größere Dateien oder viele parallel Zugriffe erfolgen. Das könnte ein Problem sein.
OpenSolaris kannst du dir gerne anschauen, aber nachdem Oracle Sun übernommen und einigen Mist gemacht hat, dürfte OpenSolaris eher tot sein als *BSD. Nebenbei haben beide das Prob, dass sie von Gnome und KDE früher oder später nicht mehr unterstützt werden. In der Maillingliste von FreeBSD scheint es aber keinen wirklich zu stören. Die meisten scheinen eh lieber Blackbox, Hackbox, Fluxbox, ScrotWM und ähnliche, kleine WMs zu benutzen.
http://www.golem.de/1105/83604.html <-- Gnome
http://www.golem.de/1108/86049.html <-- KDE
http://suche.golem.de/search.php?l=10&q=opensolaris <-- OpenSolaris, Suchergebnisse am besten überfliegen ;)
Edit: FreeBSD hat mittlerweile ZFS v28 drinne und im September soll FreeBSD 9.0 rauskommen. Frage ist, welche Funktionen von ZFS noch fehlen bzw. noch nicht 100% unterstützt werden.
Edit2: Ansonsten gäbe es noch DragonflyBSD mit Hammer FS, aber DragonflyBSD hab ich mir schon lange nicht mehr angeschaut. http://www.dragonflybsd.org/hammer/
Lord_X
2011-09-17, 10:37:32
FreeBSD: DTrace und ZFS v.15 für diejenigen, die's brauchen.
Diese Version ist doch ziemlich ALT und ist in FreeBSD 8.X noch experimentell.
Hier würde ich wirklich auf Version 9 von FreeBSD warten. Dort ist dann ein aktuelle Version von ZFS vorhanden. (v28)
OpenSolarisOpenIndiana/Illumos: ZFS v.28. Ansonsten: For the fun of it?
OpenSolaris kannst du in die Tonne tretten. Es ist tot! Solaris 11 Express ist der Nachfolger aber dafür bekommst du nur Updates als zahlender Kunde!
Hier gibt es aber eine sehr gute Alternatieve. Openindiana! Erst vor ein paar Tagen wurde die Verison 151a veröffentlich. Es gibt ein Comunity-Repo für aktuelle Software von Firefox ect. Auch gibt es Sicherheitsupdates. Ich würde wenn ZFS dann auf Openindiana 151a setzen. Gibt es mit und ohne GUI. Übrigens auch mit KVM als Virtualisierung ( Ja das von Linux ) http://openindiana.org/
Benedikt
2011-09-17, 11:50:54
Es gibt ja jetzt auch natives ZFS für Linux - sogar mit PPA für Ubuntu. Wenn ZFS, würde ich mir das überlegen, alleine wegen des Debian-Userlands... ;)
Darkstar
2011-09-17, 16:20:13
Opensolaris ist tot? Ich dachte, das könnte man demnächst auch mal auspobieren??OpenSolaris ist so tot wie Linux 2.x nach der Veröffentlichung von Linux 3.0. Die Entwicklung geht unter anderem Namen und teilweise unter anderen Voraussetzungen (Stichwort: Lizenzen) weiter. Mit welchem Erfolg, das ist die entscheidende Frage.
Entwicklung bei Sun/Oracle:
…→Sun Solaris 10 Express→Sun Solaris 10→OpenSolaris→Oracle Solaris 11 Express→Oracle Solaris 11→…
Entwicklung bei alternativen Distributionen (z. B. SchilliX, Nexenta, SmartOS, OpenIndiana):
OpenSolaris→Illumos→…
Es gibt ja jetzt auch natives ZFS für Linux - sogar mit PPA für Ubuntu. Wenn ZFS, würde ich mir das überlegen, alleine wegen des Debian-Userlands... ;)Bei der Kombination ZFS + GNU/Ubuntu/Debian Userland ist dann eher Nexenta (http://en.wikipedia.org/wiki/Nexenta_OS) zu empfehlen (mit Solaris/Illumos- statt Linux-Kernel).
Benedikt
2011-09-17, 18:36:51
Bei der Kombination ZFS + GNU/Ubuntu/Debian Userland ist dann eher Nexenta (http://en.wikipedia.org/wiki/Nexenta_OS) zu empfehlen (mit Solaris/Illumos- statt Linux-Kernel).
Nexenta sieht für mich irgendwie auch ziemlich tot aus, bzw. hat sich dort seit einem Jahr offensichtlich nichts mehr getan. Oder täuscht mich das?
Außerdem hat Linux halt einfach die beste Hardwareunterstützung - da kommt Illumos leider nicht mit, und wird's wohl auch nie.
Darkstar
2011-09-17, 23:03:34
Nexenta sieht für mich irgendwie auch ziemlich tot aus, bzw. hat sich dort seit einem Jahr offensichtlich nichts mehr getan. Oder täuscht mich das?Ja, das täuscht ein wenig. Der Grund steht hier (http://www.nexenta.org/projects/consolidation):We are working to consolidate nexenta.org and nexentastor.org. The current nexenta core platform has been moved to an illumos project called icore.
Wenn man bei NexentaStor (http://www.nexentastor.org/) und icore (https://www.illumos.org/projects/icore) schaut, sieht man, daß dort kontinuierlich weiterentwickelt wird.
Außerdem hat Linux halt einfach die beste Hardwareunterstützung - da kommt Illumos leider nicht mit, und wird's wohl auch nie.Braucht es bei einem Fileserver auch nicht in dem Umfang. Da zählt eher, daß der ZFS-Support in Solaris schon viele Jahre reifen konnte, während das bei Linux alles noch relativ neu und damit potentiell unstabil ist.
Benedikt
2011-09-18, 09:13:14
Ja, das täuscht ein wenig. Der Grund steht hier (http://www.nexenta.org/projects/consolidation):
Wenn man bei NexentaStor (http://www.nexentastor.org/) und icore (https://www.illumos.org/projects/icore) schaut, sieht man, daß dort kontinuierlich weiterentwickelt wird.
Okay, ich frage mich aber trotzdem, wie lange es dauern wird, bis da etwas verwendbares herausschaut...
Kommt halt letztlich einfach darauf an, wie viele Unternehmen mit entsprechenden Ressourcen und daneben freiwillige Entwickler die Weiterentwicklung eines OS betreiben, und da hat Linux den Vorteil. FreeBSD kann da auch noch teilweise mithalten (wenn auch deutlich langsameres Entwicklungstempo, und gefährliches Hintennachhängen, was Graphiktreibersupport betrifft). Illumos kann halt leider weder auf großangelegten Support der Community, noch auf die Zahl an von großen Unternehmen bezahlten Developers setzen. :(
Braucht es bei einem Fileserver auch nicht in dem Umfang. Da zählt eher, daß der ZFS-Support in Solaris schon viele Jahre reifen konnte, während das bei Linux alles noch relativ neu und damit potentiell unstabil ist.
Also OpenIndiana in der neuesten release will auf meinem Nehalem-System gar nicht mal booten, von daher leider keine Option.
Aufgrund des traurigen Zustandes von btrfs: Ich tendiere zu native ZFS on linux. Werde mir das mal zu Gemüte führen.
Lord_X
2011-09-18, 17:59:09
Aufgrund des traurigen Zustandes von btrfs:
Was meinst du damit? Das einzige was noch fehlt, ist ein brauchbares Tool (soll in ca. 2-3 Monaten fertig sein) um einen File-Check des Dateisystems zu machen. Wenn dies erschienen ist, wird auch btrfs schnell kommen. Stabil ist es alle mal schon!
Benedikt
2011-09-18, 18:10:04
Was meinst du damit? Das einzige was noch fehlt, ist ein brauchbares Tool (soll in ca. 2-3 Monaten fertig sein) um einen File-Check des Dateisystems zu machen. Wenn dies erschienen ist, wird auch btrfs schnell kommen. Stabil ist es alle mal schon!
Naja, also wenn man die Mailingliste mitliest: Da wird schon noch häufig von Filesystemkorruption (die man ohne btrfsck nicht beheben kann) und seltsamen Speed-Problemen berichtet... :(
Nagelbrett
2011-09-18, 22:31:09
Was meinst du damit? Das einzige was noch fehlt, ist ein brauchbares Tool (soll in ca. 2-3 Monaten fertig sein) um einen File-Check des Dateisystems zu machen. Wenn dies erschienen ist, wird auch btrfs schnell kommen. Stabil ist es alle mal schon!
Öhm, Raid5/6 Support? Solang der noch fehlt ist es imho für Fileserver völlig uninteressant im Vergleich zu ZFS...
vBulletin®, Copyright ©2000-2024, Jelsoft Enterprises Ltd.