Mal wieder: Welches FS

[Abnaxos]

Bis jetzt habe ich eigentlich immer ext2/3 verwendet. Es ist einfach das erprobteste Dateisystem für Linux. Besonders im Katastrophenfall (kaputte Festplatten und so) habe ich schon sehr gute Erfahrungen mit ext3 gemacht, häufig kann man da noch einiges retten. Auch konnte ich mal von einer Platte, die vom BIOS (und damit von Linux) nicht mehr als solche anerkannt wurde, die Daten mit Windows-Tools noch herunterkopieren.

Nun zum Problem: Ich arbeite viel mit Java, mit grossen Projekten. So ist IDEA beispielsweise momentan auf ein Projekt angesetzt, das (mit Kompilaten und allem) ca. 10'000 Dateien umfasst. IDEA wühlt auch häufig ziemlich in diesen Dateien herum. Für solche Anwendungen ist ext3 ja bekannterweise nicht gerade die erste Wahl, daher fasse ich einen Wechsel des Dateisystems für meine Home-Partition ins Auge.

Darum möchte ich eine alte Frage nochmal hervorkramen, die jüngsten Threads hier zu diesem Thema sind ja auch schon ein halbes Jahr alt, es könnte sich inzwischen ja etwas getan haben ...

Welches Dateisystem ist für meine Anwendung am besten geeignet? d.h. es soll performant und gut mit vielen, vielen, vielen kleinen Dateien umgehen können bei möglichst geringem Platzverlust, weil die Dateien alle so klein sind. Allerdings sollte es mich im Katastrophenfall nicht im Stich lassen. Datenverluste ohne Katastrophe sind sowieso nicht akzeptiert, das versteht sich wohl von selbst. ;) Man sollte dabei beachten, dass ich, da ich einen Laptop habe, immer mal wieder damit rechnen muss, dass das Gerät nicht sauber heruntergefahren wird (Batterie, misslungenes Suspend/Resume, etc), das Dateisystem sollte also gut mit sowas umgehen können.

Bitte nur begründete Antworten, einfach kommentarlos ein Dateisystem zu nennen bringt mir nichts, die Namen kenne ich schon. ;)

[(del676)]

reiserfs 3.6 - weil

1. bei vielen kleinen files verdammt hurtig
2. platzsparend bei vielen kleinen files
3. seit kernel version 2.4.19 keine großen probleme mehr bekannt
4. überlebt stromausfälle/crashes ohne probleme
5. ebenso schon "uralt"

edit: wenn dir das FS nicht geheuer ist - oder du gleich reiser4 benutzen willst (*kamikaze*) dann könntest du ja eine eigene partition nur für das projekt anlegen (nicht fürs ganze home) - und z.b. alle ~3-4 tage mal die dateien auf eine andere partition kopieren (taren)

[Gast]

Laut diversen Benchmarks, die ich gelesen habe, ist ext3 mit eines der schnellsten Systeme.

Reiser4 liegt ganz weit hinten.

Sorry, finde leider die Seite nicht mehr... :(

[Wuzel]

Abnaxos[/POST]']Bis jetzt habe ich eigentlich immer ext2/3 verwendet. Es ist einfach das erprobteste Dateisystem für Linux. Besonders im Katastrophenfall (kaputte Festplatten und so) habe ich schon sehr gute Erfahrungen mit ext3 gemacht, häufig kann man da noch einiges retten. Auch konnte ich mal von einer Platte, die vom BIOS (und damit von Linux) nicht mehr als solche anerkannt wurde, die Daten mit Windows-Tools noch herunterkopieren.

Nun zum Problem: Ich arbeite viel mit Java, mit grossen Projekten. So ist IDEA beispielsweise momentan auf ein Projekt angesetzt, das (mit Kompilaten und allem) ca. 10'000 Dateien umfasst. IDEA wühlt auch häufig ziemlich in diesen Dateien herum. Für solche Anwendungen ist ext3 ja bekannterweise nicht gerade die erste Wahl, daher fasse ich einen Wechsel des Dateisystems für meine Home-Partition ins Auge.

Darum möchte ich eine alte Frage nochmal hervorkramen, die jüngsten Threads hier zu diesem Thema sind ja auch schon ein halbes Jahr alt, es könnte sich inzwischen ja etwas getan haben ...

Welches Dateisystem ist für meine Anwendung am besten geeignet? d.h. es soll performant und gut mit vielen, vielen, vielen kleinen Dateien umgehen können bei möglichst geringem Platzverlust, weil die Dateien alle so klein sind. Allerdings sollte es mich im Katastrophenfall nicht im Stich lassen. Datenverluste ohne Katastrophe sind sowieso nicht akzeptiert, das versteht sich wohl von selbst. ;) Man sollte dabei beachten, dass ich, da ich einen Laptop habe, immer mal wieder damit rechnen muss, dass das Gerät nicht sauber heruntergefahren wird (Batterie, misslungenes Suspend/Resume, etc), das Dateisystem sollte also gut mit sowas umgehen können.

Bitte nur begründete Antworten, einfach kommentarlos ein Dateisystem zu nennen bringt mir nichts, die Namen kenne ich schon. ;)

So siehts bei mir auch aus, ich habe Reiser4 seit ca. einem halben Jahr im einsatz und bin begeistert. bei vielen kleinen Dateien ala Sourcecode ist das ding einfach der Hammer. Der Overhead ist von allen FS bei kleinen Files der geringste, zumal eine art von kompression standardmässig dabei ist.
Und ja, bei mir ist es mehr als stabil.

[Coda]

Gast[/POST]']Laut diversen Benchmarks, die ich gelesen habe, ist ext3 mit eines der schnellsten Systeme.

Reiser4 liegt ganz weit hinten.
Willst du trollen?

Zum Topic: Viele kleine Dateien -> ReiserFS. Ganz eindeutig. Von Reiser4 würde ich aber noch abraten bis es irgendwann in den Vanilla-Kernel wandert.

[Trap]

Coda[/POST]']Willst du trollen?
Ne, so einen Bench gab es tatsächlich mal, aber unter ziemlich unrealistischen Bedingungen. ReiserFS braucht mehr CPU-Leistung als andere Dateisysteme und die haben halt auf ich glaub nem P3 500 gebencht und da war ReiserFS im Gegensatz zu den anderen Dateisystemen CPU limitiert.

[Wuzel]

Coda[/POST]']Willst du trollen?

Zum Topic: Viele kleine Dateien -> ReiserFS. Ganz eindeutig. Von Reiser4 würde ich aber noch abraten bis es irgendwann in den Vanilla-Kernel wandert.

Also nur weil die Kernel Devs aus Streitgelüsten Reiser4 nicht in den Kernel nehmen, heisst das lange noch nicht, das es nicht stabil sei.
Die momentane Version ist stable freigegeben, aber halt bloss nicht im Kernel ;)
Ich hab es wie gesagt auch im Einsatz und keinerlei Trouble.
Die üblichen Backups bei solcherart von daten ist ja zudem quasi standard ;)

[Wuzel]

Trap[/POST]']Ne, so einen Bench gab es tatsächlich mal, aber unter ziemlich unrealistischen Bedingungen. ReiserFS braucht mehr CPU-Leistung als andere Dateisysteme und die haben halt auf ich glaub nem P3 500 gebencht und da war ReiserFS im Gegensatz zu den anderen Dateisystemen CPU limitiert.

Ja, weil Reiser die Dateien quasi zusammenhasht (daher auch der kompressionseffekt). Ich würde das deshalb auch nicht zwingend einsetzen wollen, wenn die CPU Leistung eh schon limitiert ;)

[Abnaxos]

Danke erstmal für all die Antworten, es klingt hier ja wirklich so, als ob ReiserFS am ehesten meinen Bedürfnissen entspricht.

Wuzel[/POST]']Also nur weil die Kernel Devs aus Streitgelüsten Reiser4 nicht in den Kernel nehmen, heisst das lange noch nicht, das es nicht stabil sei.
Yep ... ich benutze z.B. Suspend2, was ich als das einzige einigermassen brauchbare Suspend anschaue. Den alten Mist habe ich in 7 Jahren Linux (richtig, es ist ziemlich genau 7 Jahre her, dass ich diesen Patch erstmals eingespielt habe) auf Laptops noch nie funktionieren sehen, Suspend2 läuft aber ziemlich zuverlässig. Aber irgendwie schafft es das Ding nicht in den Kernel, man scheint lieber damit zu leben, dass Suspend auf 80% der Laptops schlicht nicht funktioniert. Sogar das Ubuntu-Team weigert sich, Suspend2 aufzunehmen, dabei wäre das doch nun definitiv die Instanz, die Interesse daran hätte, ein problemlos und performant funktionierendes Suspend anzubieten ... :/

Wobei, beim FS bin ich da schon noch etwas empfindlicher, "ziemlich zuverlässig" reicht mir da nicht ...

a, weil Reiser die Dateien quasi zusammenhasht (daher auch der kompressionseffekt). Ich würde das deshalb auch nicht zwingend einsetzen wollen, wenn die CPU Leistung eh schon limitiert
Mit einem Laptop habe ich natürlich limitierte Resourcen, da mache ich mir keine Illusionen. Aber die CPU ist ein P4/3.2GHz mit HT, der Flaschenhals liegt also IMHO an anderen Stellen, z.B. am I/O. Aber die CPU darf man ruhig brauchen, das Ding wird halt heiss und entsprechend laut -- kein Problem, das waren beim Kauf keine Kriterien, ich wollte Performance. Es sollte von Anfang an ein portabler Desktop sein. Eine Idle-Temperatur von 60° (CPU) ist laut Support absolut normal, in dieser Beziehung ist also sowieso nichts mehr zu retten.

[(del676)]

mehr cpulast heisst bei der cpu dann statt 2% auslastung 6-8% :)

[MadMan2k]

Abnaxos[/POST]']Sogar das Ubuntu-Team weigert sich, Suspend2 aufzunehmen, dabei wäre das doch nun definitiv die Instanz, die Interesse daran hätte, ein problemlos und performant funktionierendes Suspend anzubieten ... :/

hab mal einen neuen Bug für Edgy aufgemacht - kannst es ja kommentieren:
https://launchpad.net/distros/ubuntu/+bug/46535

ich glaube der andere wurde abgelehnt, da 2.6.15 der dapper kernel ist und man da keine Experimente wagen wollte...

[bluey]

Wuzel[/POST]']Also nur weil die Kernel Devs aus Streitgelüsten Reiser4 nicht in den Kernel nehmen, heisst das lange noch nicht, das es nicht stabil sei.
Die momentane Version ist stable freigegeben, aber halt bloss nicht im Kernel ;)
Ich hab es wie gesagt auch im Einsatz und keinerlei Trouble.
Die üblichen Backups bei solcherart von daten ist ja zudem quasi standard ;)

"I apologize that the latest reiser4 with the cleanups requested by Hellwig is more than a bit of a turkey (due to bugs in our cleanups). We just now sent some patches which will improve things, but I don't yet have confidence in the code, and will not until we go for two weeks with no reports of problems. It may also be that the new to -mm write throttling patch is causing us problems, we are still investigating."

Hans

Soviel zu Reiser4 ist stable.

[Wuzel]

bluey[/POST]']Soviel zu Reiser4 ist stable.

Nee, also bitte, sowas muss jetzt nicht sein, ich kann dir über jedes X-beliebige Datei System Buglisten und probleme reichen. Mit 'stable' sagt man nur aus, das man es in produktiv szenarien einsetzen kann, richtiger umgang mit Daten vorausgesetzt. Kein Dateisystem ist wirklich zu 100% fehlerfrei, deswegen sind unteranderen eine gute backup strategie und vernunft das A und O ;)

[GAMaus]

Frage zum Thema:
Kann man eine ext2/3 Partition ohne Datenverlust in eine ReiserFS umwandeln?

[(del676)]

klar
backup ziehen
mkfs.reiserfs
backup restoren

[Abnaxos]

Ulukay[/POST]']wenn dir das FS nicht geheuer ist - oder du gleich reiser4 benutzen willst (*kamikaze*) dann könntest du ja eine eigene partition nur für das projekt anlegen (nicht fürs ganze home) - und z.b. alle ~3-4 tage mal die dateien auf eine andere partition kopieren (taren)
Vielen Dank für diese Idee -- besticht durch seine Einfachheit, dennoch wäre ich jetzt nicht darauf gekommen.

Das Hauptproblem war erstmal, dass ich keinen Platz gefunden habe, wo ich meine 60G-Home zwischenlagern kann ... dann habe ich doch diese nutzlose 1G-Partition "gefunden", die als /pub gemountet ist und als Spielwiese für alle via Samba gedacht war. Also habe ich einfach mal alle "inaktiven" Projekte weggetart, den Mount-Point und das Samba-Share eliminiert, die Partition auf Reiser neu formatiert und mitten in mein Home gemountet, die aktiven Projekte darauf geschoben, einen Konserve-Task dafür eingerichtet und siehe da, IDEA fliegt, und im Katastrophenfall habe ich immer noch mein gutes altes ext3. ;)

Es ist wirklich faszinierend, was das ausmacht ... :biggrin:

[GAMaus]

Ulukay[/POST]']klar
backup ziehen
mkfs.reiserfs
backup restoren

Werd ich mal testen, danke!

[Geeman74]

Gibt es eigentlich Meinungen (Speed, Stabilität) zu XFS?

Ich habe meinen kleinen, privaten LANi-Server unter XFS laufen, d.h. ein Software RAID-0 aus zwei Platten, welches mit XFS in Standardeinstellung mkfs't wurde.

Der Mountpoint ist dann per Samba als SMB-Share eingebunden.

Mir hat XFS den Beschreibungen nach gefallen: ein reifes System, im Kernel integriert, keine Probleme mit großen Dateien, Journaling. Wo liegen die Nachteile :confused:

[(del676)]

xfs nachteile .... nicht so schnell wie reiserfs bei kleinen dateien
das wars imho aber auch schon :)
sonst ist es das wohl -overall- schnellste filesystem, es macht u.a. stark vom cache gebrauch

ich hoffe du backups regelmäßig (wegen raid0)

[ollix]

XFS soll im Mix mit am Besten sein; es hat aber nicht diese Spezialfall-stärke (kleine Dateien), wie es z.B. ReiserFS hat. Habe es einige Zeit eingesetzt und probiere inzwischen gerade ReiserFS; beides war bis dato absolut problemlos.

[Wuzel]

Geeman74[/POST]']Gibt es eigentlich Meinungen (Speed, Stabilität) zu XFS?

Ich habe meinen kleinen, privaten LANi-Server unter XFS laufen, d.h. ein Software RAID-0 aus zwei Platten, welches mit XFS in Standardeinstellung mkfs't wurde.

Der Mountpoint ist dann per Samba als SMB-Share eingebunden.

Mir hat XFS den Beschreibungen nach gefallen: ein reifes System, im Kernel integriert, keine Probleme mit großen Dateien, Journaling. Wo liegen die Nachteile :confused:

XFS ist eine gute Wahl, wenn man konstante Transferraten benötigt und recht grosse Files im durchschnitt hat - gerade Video Archive/Edeting und Sachen wo von der platte gestreamt werden fühlen sich bei XFS wohl. Auch ist die prozessorlast recht gering (im vergleich mit anderen J-FS). Probleme hat man noch bei hoher anzahl von konkurierenden Zugriffen, also DB Systeme und solcherlei sind nicht so passend dafür. Auch sollte man keine temp dirs oder ähnliches drauf laufen lassen, da die performance dann schon arg einbrechen könnte. Das Cache Managment ist hingegen meiner Ansicht nach am saubersten von allen gelöst.

[DR.ZEISSLER]

gibt kaum Nachteile für XFS, ich habe sehr gute Erfahrungen mit XFS gemacht (siehe RAID5 Verbund in Sig.)

Gruß
Doc