Existiert Software, die nur geaenderte Teile grosser Dateien synchronisiert?

[Milton]

Folgenden Fragestellung:
Nehmen wir an, wir haben ein 1TB grosses Containerfile (z.B. Truecrypt Volume), und ein Backup davon (z.B. auf externem Laufwerk). Ist es moeglich, diese Container-Dateien zu synchronisieren ohne die Container zu mounten?
Es muesste also einen blockweisen Vergleich der Container-Dateien geben, und nur die veraenderten Bloecke wuerden neu geschrieben. Kennt da jemand Loesungen?

Ich nehme an, dass Dropbox etc. da interne Loesungen fuer haben, um den Traffic zu limitieren. Aber gibt es da externe (Windows)Programme fuer?

Danke im voraus!

[Watson007]

ich kenne das rsyncBackup-Skript der c´t dafür, dass kann Hardlinks erstellen

ich bin mir aber nicht ganz sicher ob es nur geänderte Dateien generell oder auch Blöcke von geänderten Dateien verlinken kann.
das kannst du jedenfalls mit ctTruSize überprüfen

aber nur auf NTFS-Laufwerken funktioniert es

Tipp: nicht die mitgelieferten Cygwin- und rsync-Dateien nutzen, sondern rsync über den Cygwin-Installer installieren und den /bin-Pfad in die Windows-Umgebungsvariable aufnehmen. Anschließend die mitgelieferten cygwin-dlls und rsync löschen.

rsyncBackup nutzt rsync, wie der name schon sagt. Unter Windows läuft das nur mit der Cygwin-Linux-Emulationsschicht, und die mitgelieferten Dateien davon sind veraltet und verursachen auf neuen Systemen Probleme.

[Milton]

Vielen Dank, aber das Ding scheint wie Du auch sagst auf Dateiebene zu laufen.
Ich dachte halt, dass eine Synchronisierung auf Containerblockebene fixer sein sollte als die Container zu mounten und alle (kleinen) Dateien zu vergleichen. Und Dropbox macht das wohl in der Tat so.

[PatkIllA]

Hardlinks gehen nur auf ganzen Dateien.
RSync kann Blockweise syncronisieren, dann muss aber auf dem anderen Rechner auch rsync als Server laufen.

[Milchkanne]

Das lohnt nur, wenn die schreibrate auf dem Ziel-Datenträger deutlich geringer ist, als die Leserate auf beiden Datenträgern.
Wenn du nur die Differenzen übertragen willst, müssen beide Dateien komplett gelesen werden und blockweise gehasht werden. Die Differenzen müssen dann noch übertragen und geschrieben werden. Wenn da ein Netzwerk zwischen hängt, dann machen Deltas natürlich Sinn. Wenn du das regelmäßig machst, würde es Sinn machen, die Hashes der Ziel Datei zu speichern, damit später drauf zurückgegriffen werden kann.
Du brauchst das nicht zufällig für Linux oder? Ein passendes einweg Shellscript wäre da schnell geschrieben.

[Milton]

Wenn du nur die Differenzen übertragen willst, müssen beide Dateien komplett gelesen werden und blockweise gehasht werden. Die Differenzen müssen dann noch übertragen und geschrieben werden.

Ja, das habe ich mir auch so gedacht. Trotzdem kann diese Methode Vorteile haben. Wenn ich zum Beispiel nur Platz fuer ein einziges Backup des Containers habe, waere das Loeschen des alten Backups und das anschliessende erneute Kopieren ein Risiko, denn wenn in diesem Moment der Quelldatentraeger ausfaellt, habe ich gar kein Backup mehr. Bei blockweiser Uebertragung hingegen waere nur ein sehr kleiner Teil des Backup-Containers kaputt. Diese Ueberlegung mag paranoid klingen, aber das Kopieren eines Containers von mehreren TB dauert sehr lange und bedeutet Stress fuer die Festplatte.

Aber ich werd die Container wohl einfach mounten und dann synchronisieren (was aber den Nachteil hat, dass auf Containerebene kein identisches Backup mehr habe).

Edit: Und danke fuer das Angebot, aber ist fuer Windows, und ich haette wenn auch gerne eine langbewaehrte, erprobte Loesung - schliesslich geht es mir ja um die Datensicherheit.

[Matrix316]

Für Windows Server gibt es die DFS Replikation die sowas machen kann. Dafür braucht man aber zwei Server für. Glaube nicht, dass es auf ein externes NAS oder so geht.

Aber hier ist vielleicht was: http://www.freiesofts.de/software/NovaBACKUP-Professional-98259.html


Fast Bit Technologie-Updates Ihre Backups mit Bit-Ebene inkrementelle Änderungen.


Eventuell geht es damit.

[PatkIllA]

Edit: Und danke fuer das Angebot, aber ist fuer Windows, und ich haette wenn auch gerne eine langbewaehrte, erprobte Loesung - schliesslich geht es mir ja um die Datensicherheit.rsync gibt es doch auch für Windows. Bei Wikipedia (http://en.wikipedia.org/wiki/Rdiff-backup#Solutions_using_rsync) gibt auch Software, die das intern verwendet.
Ich sichere mein Zeugs auf TrueCrypt Laufwerken aber auch gemountet und dann dateiweise. Wobei ich den Container eh nicht so sichern könnte, weil ich die ganze Partition verschlüsselt habe.
Außerdem kann ich ähnlich der ct-Lösung dann per Hardlinks auch mehrere Zustände auf dem Backup haben ohne Unmengen Platz zu brauchen. Mir reicht da auch der Vergleich per Datum und Größe. Da müssen dann auch nicht etliche TB gelesen werden (weniger Stress für die Platte)

Ja, das habe ich mir auch so gedacht. Trotzdem kann diese Methode Vorteile haben. Wenn ich zum Beispiel nur Platz fuer ein einziges Backup des Containers habe, waere das Loeschen des alten Backups und das anschliessende erneute Kopieren ein Risiko, denn wenn in diesem Moment der Quelldatentraeger ausfaellt, habe ich gar kein Backup mehr. Bei blockweiser Uebertragung hingegen waere nur ein sehr kleiner Teil des Backup-Containers kaputt. Diese Ueberlegung mag paranoid klingen, aber das Kopieren eines Containers von mehreren TB dauert sehr lange und bedeutet Stress fuer die Festplatte.Es ist auch nicht so unwahrscheinlich, dass in genau dem Moment der Blitz einschlägt, dein Netzteil abraucht, das Haus abbrennt, Diebe deinen Rechner und die Backupplatte klauen, ein Virus Backup und Original zerstören, dein Festplatten-Controller eine Macke hat und beide Platten beschädigt, usw.
Kurz um, du solltest mehrere Backups haben und die auch tunlichst räumlich getrennt aufbewahren.