Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

German support forum

Moderators: white, Hacker, Stefan2

lbug
Junior Member
Junior Member
Posts: 24
Joined: 2015-10-08, 10:40 UTC

Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *lbug »

Hallo,

meine Frage lautet recht simpel:
Kann man den verwendeten [b]Dateicache für die Funktion "Verzeichnisse synchronisieren..." konfigurieren[/b] - in meinem Fall sehr stark vergrößern???

Die gleiche Frage kann für "Vergleich nach Inhalt..." gestellt werden. Der Vergleich einzelner, großer Dateien war damit (auf ein und derselben klassischen Festplatte) schon immer sehr nervig, so dass ich vorzugsweise andere Tools nutze. Wenn man 100 MiB Lese-Cache für beide Dateien konfigurieren kann, laufen selbst Dateivergleiche auf klassischen Festplatten sehr schnell und schonend für die Laufwerksmechanik ab. Beim Total Commander konnte ich allerdings nie eine entsprechende Option finden.

Im Moment teste ich gerade ein Backup-Tool, das leider fehlerhafte Archive erstellt. Um diese Fehler zu finden, führt kein Weg an der sehr schönen "Verzeichnisse synchronisieren..."-Funktion vorbei. --- Allerdings warte ich auf den initalen Vergleich (nach Inhalt) von ca. 1,5 TiB (in einigen hundertausend Dateien) jetzt bereits seit zwei Tagen. Also wirklich im Sinne von 2 * 24 h = 48 h!!!
In der letzten Stunde konnte ich beobachten, wie der Fortschritt von 52% zu 53% umschaltete. Jeder Prozentpunkt ist ein Fest!

Um das Problem noch etwas abzugrenzen: Ich hatte noch nie Probleme mit der Kopiergeschwindigkeit, weshalb ich die dazu verfügbaren Einstellungen niemals anfassen musste. Ich weiß auch nicht, ob diese Einstellungen den Vergleich einzelner Dateien oder das Synchronisieren ganzer Verzeichnisstrukturen beeinflussen würden. Dazu konnte ich weder bei den Einstellungen noch in der Hilfe noch im Internet eine Aussage finden.
Existieren vielleicht in den INI-Dateien noch weitere Einstellungen oder wirken sich die genannten doch auch schon auf das Verlgeichen aus?

Ich finde es gut, dass der Total Commander per Voreinstellung sehr sparsam mit den vorhandenen Ressourcen umgeht. Heutige Rechner sollten allerdings kein Problem mit großen Lese- und Schreibcaches haben. Windows selbst hilft hier anscheinend nicht weiter. - Seit zwei Tagen und Nächten muss ich mir anhören, wie meine Festplatte geschreddert wird!
Diesen Vorgang möchte ich nun auch nicht mehr abbrechen und neustarten, wenn ich nicht weiß, ob sich für den nächsten Lauf mit veränderten Einstellungen wirklich eine sehr deutliche Verbesserung einstellen würde.

Meine arme Festplatte! Ich leide mit ihr!
User avatar
Dalai
Power Member
Power Member
Posts: 9364
Joined: 2005-01-28, 22:17 UTC
Location: Meiningen (Südthüringen)

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *Dalai »

Dateien, die auf derselben Festplatte liegen, nach Inhalt zu vergleichen, ist ziemlich problematisch und sinnfrei, wie du ja selbst bereits festgestellt hast. Ein Cache hilft da nur bedingt, und mit steigender Fragmentierung wird es sowieso noch schlimmer. Sinnvoller ist es, dafür zu sorgen, dass die Dateien sequentiell gelesen werden. Das kann man mit der Erstellung von Prüfsummen erreichen, siehe Menü Dateien > Erzeuge Quersummen. Sobald man diese Prüfsummen hat, kann man sich die fehlerhaften Dateien genauer anschauen (also auch nach Inhalt vergleichen), sollte das nötig sein.

Grüße
Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64

Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
lbug
Junior Member
Junior Member
Posts: 24
Joined: 2015-10-08, 10:40 UTC

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *lbug »

Ja, ich plane alle dergleich aufwendigen Vorgänge auch immer im Vorhinein, sprich: Ich entpacke den Vergleichskandidaten immer auf ein separates Laufwerk. Leider besitze ich aber kein Laufwerk, welches die Menge an freien Speicherplatz besäße.
Auch Erstellung und Abgleich von Checksummendateien ganzer Verzeichnisstrukturen nutze ich bereits seit langer Zeit exzessiv. Dies ist hier allerdings keine Option!
Es geht, wie gesagt, um hunderttausende von Dateien, die bereits in beiden Verzeichnisstrukturen enthalten sind. Dazu kommen noch einmal mehr Dateien (zusätzliche 2 TiB), die bereits vom Backup-Tool erfolgreich ausgeschlossen wurden (nach viel mehr Kriterien als sie der Total Commander leider nur unterstützt). Ein Vergleich der entstehenden riesigen Checksummendateien wäre sinnlos, es würde zwangsweise hundertausende unterschiedliche Zeilen (nicht mit gesicherte Dateien, bereits geänderte Dateien [Backup-Tests laufen schon > 1 Woche], ...) geben!
Ich freue mich schon nicht auf die Arbeit, die angezeigten Ergebnisse dann manuell durchgehen zu müssen, sobald der initiale Vergleichsvorgang mal zu einem Abschluss kommt (eben auf 57% umgeschaltet!) aber das ist zumindest ein irgendwie machbarer Weg.

Ich möchte auch festhalten, dass es sehr wohl GROSSE Vorteile bringt, den Lesecache zu vergrößern!

Das ist keine flapsige Bemerkung, sondern stellt eine Erkenntnis jahrelanger Erfahrung dar. Ich nutze viel lieber mein eigenes Tool mit konfigurierbarem Cache, das mir in einem Bruchteil der Zeit zwei SD-Karten-Images vergleicht, die der Total Commander (mit Standardeinstellungen) benötigen würde - währenddessen die Leseschreibköpfe auch noch unter Dauerstress stehen. Das gilt auch beim Vergleich vieler kleiner Dateien, die einzeln wesentlich kleiner als der verwendete Cache sind. Die können dann immer sofort komplett geladen und verglichen werden. Das geht immer noch um Größenordnungen schneller und die Festplatte hört man dabei kaum. - Nur leider stammt mein Konsolenprogramm noch aus einer Zeit als die Dateien kleiner waren und es unterstützt auch keine Unicodezeichen in Dateinamen und besitzt nichts von den tollen Funktionen des Total Commanders, wenn Unterschiede gefunden wurden. Der Anwendungsfall ist einfach viel zu komplex.
Ich musste leider schon viele Erfahrungen mit ausgefallenen Festplatten und anderen Datenträgern machen. Deshalb ist auch nicht nur die um Größenordnungen schnellere Abarbeitung, sondern auch die "gesündere Arbeitsweise" für mich ein starkes Argument für größere Caches.

Argumente in Richtung Fragmentierung der einzelnen Dateien zählen auf einer ordentlichen Festplatte nicht. Wie gesagt, die Vergleichskandidaten sind nicht einmal über die Zeit gewachsen, sondern aus einem Backup-Archiv, nur zu diesem Zweck, auf dieses Laufwerk entpackt worden. (Und selbst bei stark fragmentierten Dateien wäre es effizienter und schonender, immer erst xyz MiB von Datei 1 und danach xyz MiB von Datei 2 zu laden, anstatt diesen Vorgang noch künstlich in tausende einzelne Lesekopfbewegungen aufzuspalten!) --- Für die Erstellung der Prüfsummen (und jeden anderen Zweck) müssten die Dateien übrigens auch so gelesen werden, wie sie auf der Platte liegen, fragmentiert oder nicht. Da beißen sich Deine Bemerkungen also etwas. ;-)
Also ein großer Cache sorgt natürlich gerade für das lineare Lesen, so weit dies irgendwie möglich sein sollte.

Deshalb suche ich weiterhin nach dieser Option in meinem heißgeliebten Total Commander!
User avatar
Dalai
Power Member
Power Member
Posts: 9364
Joined: 2005-01-28, 22:17 UTC
Location: Meiningen (Südthüringen)

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *Dalai »

Nicht, dass wir uns falsch verstehen: Ich kann dein Anliegen nachvollziehen und habe überhaupt nichts gegen eine entsprechende Option. Da es eine solche Funktion (aktuell) nicht gibt und du offensichtlich eine sofortige Lösung willst, ist der Weg über die Prüfsummen der einzige bzw. einzig sinnvolle und zeitsparende, der mir möglich uhnd durchführbar erscheint. Nur, um es noch erwähnt zu haben: Man kann Prüfsummen auch pro Verzeichnis und pro Datei erstellen, was den anschließenden Vergleich ggf. etwas leichter macht.
lbug wrote: 2021-03-17, 14:38 UTCArgumente in Richtung Fragmentierung der einzelnen Dateien zählen auf einer ordentlichen Festplatte nicht. Wie gesagt, die Vergleichskandidaten sind nicht einmal über die Zeit gewachsen, sondern aus einem Backup-Archiv, nur zu diesem Zweck, auf dieses Laufwerk entpackt worden.
Wer sagt denn, dass die vorher vorhandenen Dateien genug Platz für die zu entpackenden Dateien gelassen haben, so dass letztere am Stück liegen können?
Da beißen sich Deine Bemerkungen also etwas. ;-)
Tut es nicht. Wo die Fragmente von Dateien liegen, spielt für das gleichzeitige Lesen einer einzelnen Datei keine Rolle. Es bleibt trotzdem beim (nahezu) vollständig sequentiellen Lesen.

Grüße
Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64

Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
lbug
Junior Member
Junior Member
Posts: 24
Joined: 2015-10-08, 10:40 UTC

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *lbug »

Gut, also ich nehme mit, dass es da wohl wirklich keine Einstellung gibt!?
Damit hatte ich gar nicht gerechnet. Ich dachte, ich hätte die Einstellung bestimmt nur nie gefunden - oder die Kopiercaches würden sich auch auf das Vergleichen auswirken.

Ich mache mich gerade an das Aussortieren der Ergebnisse des tagelangen Vergleiches, wohl wissend, dass ich das kein zweites Mal durchhalten werde.
Mehre hunderttausend gleiche Dateien, mehre hunderttausend für das Backup ignorierte Dateien (in jeweils mehreren tausend Unterverzeichnissen, für die ich Checksummendateien vergleichen hätte müssen), nur wenige hundert verschiedene Dateien, deren Unterschiede ich mir durch die schöne "Verzeichnisse synchronisieren..."-Funktion gleich genauer anschauen kann. Das Meiste werden natürlich, nach einer ganzen Woche Backup- und Vergleichszeit, nachvollziehbare Dateiänderungen sein. Nur die ein oder zwei gar nicht erst gesicherten Dateien werde ich unter den hunderttausenden "Einzelne rechts" wohl nicht entdecken können.

Aber das tut alles nichts zur Sache.
Ich würde den Vergleich liebend gern für bestimmte Unterverzeichnisse wiederholen, was mit den anscheinend fest vorgegebenen Einstellungen aber jeweils noch einmal einen ganzen Tag dauern würde?
Im Moment liest mein eigenes, altes Konsolenprogramm noch mal dieselben Verzeichnisstrukturen ein - mit der (laut ProcessExplorer und ResourceMonitor) zehnfachen (!) Datenrate des Total Commanders zuvor (und fast ohne hörbare Festplattengeräusche). - Nur leider ist es so umständlich zu bedienen und es speichert keine Ergebnisliste, so dass ich mir kaum neue Erkenntnisse erwarten kann. :-(

Also wenn man sich ein Feature für neue Versionen wünschen kann, dann wünsche ich mir definitiv eine Konfigurationsmöglichkeit des Lesecaches für alle Arten von Vergleichsoperationen! :-)
User avatar
Dalai
Power Member
Power Member
Posts: 9364
Joined: 2005-01-28, 22:17 UTC
Location: Meiningen (Südthüringen)

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *Dalai »

Ein Vergleichen der Prüfsummendateien hatte ich gar nicht gemeint, sondern ein Verifizieren derselben in der zweiten Verzeichnisstruktur. Ist ähnlich, aber nicht dasselbe.

Ich bin mir sicher, dass sich schon jemand gemeldet (und mir widersprochen) hätte, gäbe es eine solche Einstellung für den Puffer beim Vergleichen.

Grüße
Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64

Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
lbug
Junior Member
Junior Member
Posts: 24
Joined: 2015-10-08, 10:40 UTC

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *lbug »

Hallo,

ich wollte / muss mich noch ein mal zu diesem Thema melden.

Ich habe gerade wieder nervtötende Minuten (mit lauten Sägegeräuschen im PC!) auf das Vergleichen von ein paar Verzeichnissen gewartet - nur jeweils ein bis zwei GiB in wenigen Dateien! Das bloße Lesen oder Schreiben hätte nur wenige Sekunden gedauert. (Den Vergleich ganzer Backups wie im Frühling habe ich bereits seit Langem komplett aufgegeben. Das kann man ja leider nur noch als aktive Festplattenzerstörung bezeichnen!)
Auch mit der neuesten Version des Total Commanders änderte sich leider nichts, keine neuen Optionen, keine Hinweise in der Hilfe.

Ich habe hier im Forum leider keinen Bereich für *Feature-Requests* gefunden!?

Wie äußert man denn einen solchen?
Also ich besitze jetzt bereits seit Jahren das dringende Bedürfnis nach einer *Option zum Setzen des Lesepuffers für alle Vergleichsoperationen*! :?
User avatar
ghisler(Author)
Site Admin
Site Admin
Posts: 48021
Joined: 2003-02-04, 09:46 UTC
Location: Switzerland
Contact:

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *ghisler(Author) »

Total Commander 10 erlaubt das Anzeigen von Dateien mit Dateifiltern, das sind in der Suche gespeicherte Suchoptionen. Hier können Sie z.B. einstellen, dass nur Dateien angezeigt werden sollen, die nicht älter sind als z.B 14 Tage. So ersparen Sie sich den Vergleich nach Inhalt bei älteren Dateien. Auswählen können Sie den Filter über den Knopf "1x". Hier sollten Sie auch die Option "auf mindestens einer Seite" verwenden, damit die neue Datei auch mit der älteren auf der anderen Seite verglichen wird.
Author of Total Commander
https://www.ghisler.com
lbug
Junior Member
Junior Member
Posts: 24
Joined: 2015-10-08, 10:40 UTC

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *lbug »

Danke für die Antwort. --- Sie ersetzt nur leider keinen konfigurierbaren Lesepuffer.

Kurz zu den Backups, die als initialer Aufhänger für diesen Thread dienten:
Auch bei inkrementellen Backups (vollständige sollten natürlich auch vollständig verglichen werden!) ändern sich soo viele GiB bzw. immer mehrere TiB zwischen den Updates, dass eine Einschränkung nach Dateifiltern (gleich welcher Art) nichts bringt. Diese Größenordnung ist ganz normal, wenn man sich mit Photogrammetrie oder anderen speicherintensiven Themen beschäftigt. (Deshalb auch der zwangsweise Einsatz klassischer Festplatten. SSDs sind in dieser Größenordnung für Privatmenschen immer noch absolut unbezahlbar - und ihr Einsatzgebiet liegt auch sicher nicht im Datensicherungssektor.)

Der erneut akute Leidensdruck, der mich dazu bewog, mich noch mal zu melden, hatte dann ja auch gar nichts mehr mit den Backups zu tun!
Wie gesagt, der tage- bis wochenlange Vergleich mehrerer TiB an Daten kommt einer mechanischen Zerstörung der Leseschreibköpfe der Festplatte gleich, weshalb ich das gar nicht mehr anstoße - und meine Sicherungen ihrem Schicksal überlasse. :?
Zuletzt ging es wirklich nur darum, einige Verzeichnisse, die ich irgendwann manuell kopiert hatte, auf die Gleichheit ihres Inhalts zu überprüfen. Auch hierbei hätte eine Einschränkung der zu vergleichenden Dateien per Filter nicht geholfen. Die Verzeichnisse enthielten jeweils nur vier oder fünf Dateien. Die hätte ich auch jeweils einzeln per "Datei -> Vergleich nach Inhalt..." überprüfen können. Aber bis auf den höheren manuellen Aufwand hätte sich absolut nichts geändert! Auch mit dieser Art des Vergleichs rattern die Leseköpfe der Platte tausende Male hin und her, um Dateien von vielleicht gerade mal ein paar hundert MiB Größe zu lesen. Die könnten komplett an einem Stück eingelesen und dann im Arbeitsspeicher verglichen werden! (Bei einem gefundenen Unterschied geht der Total Commander bereits in einen Modus, in dem beide Dateien komplett im Arbeitsspeicher gehalten werden.) Dazu müsste aber eben der Lesepuffer vergrößert werden!

Wie ich auch schon mal beschrieben hatte, ist dies keine bloße Vermutung meinerseits, sondern ich weiß dies mit Bestimmtheit!
Wenn ich bei meinen Konsolenprogramm den Dateicache auf wenige KiB reduziere, kann ich damit die Laufwerksmechanik genauso malträtieren wie mit dem Total Commander. Das macht auf heutigen Rechnern natürlich keinen Sinn mehr. Einige MiB Lesepuffer pro Vergleichskandidatem tut keinem Rechner der letzten 15 bis 20 Jahre mehr weh. Da verwendet Windows ja selbst schon viele GiB für den Dateicache (wahrscheinlich sämtlichen noch freien Arbeitsspeicher; natürlich nur für bereits eingelesene Dateien).

Also ich kann meinen Feature-Request nach einer *Option zum Setzen des Lesepuffers für alle Vergleichsoperationen* nur noch einmal wiederholen!
User avatar
Dalai
Power Member
Power Member
Posts: 9364
Joined: 2005-01-28, 22:17 UTC
Location: Meiningen (Südthüringen)

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *Dalai »

Auch wenn ich eine Option zur Größe des Lesepuffers nachvollziehen kann und sogar befürworte, verstehe ich nicht, warum du nicht Prüfsummen für die Dateien erstellst und diese auf dem Ziel verifizieren lässt. Das Lesen wird damit schneller als mit einem Puffer beim Inhaltsvergleich, weil immer sequentiell (wenn man mal von starker Fragmentierung absieht). Und vor allem ist es eine Möglichkeit, die dir jetzt schon zur Verfügung steht, nicht erst irgendwann nach dem Einbau der o.g. Option (sofern sie denn implementiert wird). Ja, die Dateien müssen von der Quelle mindestens zweifach gelesen werden, und einmal am Ziel geschrieben und danach wieder gelesen werden. Aber das ist allemal besser als eine Dateikorruption in Kauf zu nehmen oder die Platten weiterhin zu quälen.

Just my 2 cents.

Grüße
Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64

Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
User avatar
Wilhelm M.
Power Member
Power Member
Posts: 990
Joined: 2003-06-05, 10:45 UTC

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *Wilhelm M. »

Eine Frage wegen der Prüfsummen. Wollte Deine Empfehlung, Dalai, mit den Prüfsummen einmal testen und habe für ein Verzeichnis auf der Festplatte und ein inhaltsgleiches auf dem USB-Stick jeweils Prüfsummen erstellt. Auf beiden Seiten. Dann im Synchronisationsfenster einen Vergleich nach Inhalt gemacht (Datum ignorieren) und siehe da: die einzige ungleiche Datei war die Prüfsummendatei. Diese ist also verschieden, obwohl der INhalt des Verzeichnisses gleich ist. Ein bisschen verwirrend für mich, der ich mich mit Prüfsummen nicht auskenne.

Wo ist mein Denkfehler?
Grüße/Regards,
Wilhelm
lbug
Junior Member
Junior Member
Posts: 24
Joined: 2015-10-08, 10:40 UTC

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *lbug »

Zuerst einmal Danke für die versuchte Hilfe.
Den Prüfsummenvergleich nutze ich schon seit vielen Jahren - für alle Anwendungsfälle, bei denen er auch Sinn macht.

In meinem kleinen Beispiel hätte er mir zu viel Aufwand bedeutet. Für jeden einzelnen Verzeichnisvergleich hätte ich separat eine Checksummendatei erzeugen, ins Zielverzeichnis kopieren, ggf. den Windows-Dateicache leeren und schließlich die Prüfsummen dort verifizieren müssen. (Da geht es natürlich schneller, die Verzeichnisse einfach zu öffnen und dann [Alt]+[B], [Y] zu drücken.) Der Prüfsummenvergleich hätte mir dann aber schön übersichtlich gezeigt, dass genau diese ein oder zwei Dateien unterschiedlich sind. Für weitere Details hätte ich dann doch wieder den Einzelvergleich heranziehen müssen - mit allen ratternden Nebeneffekten!

Wenn ich dann aber wieder auf das große Backup-Beispiel zurückkommen würde (gilt auch für alle Fälle dazwischen), dann würde mir der Checksummenvergleich am Ende vielleicht anzeigen, dass 5000 von den 500000 Dateien nicht gleich sind! Was soll mir diese Erkenntnis bringen?
In solchen, mir durchaus bekannten, Fällen kann ich dann nur die lange Liste der überprüften Pfade ins Notepad++ kopieren und dort irgendwie filtern. - Ich werde aber trotzdem keine 5000 Dateipaare dann noch einzeln anvisieren und vergleichen, um die Gründe für die Unterschiede (unpassender Kopiermodus des Backup-Tools, Probleme mit dem Dateisystem, physische Fehler auf Quell- und / oder Ziellaufwerk, ...) zu finden!
Hier bringt der Prüfsummenvergleich nur in dem einen Super-Sonderfall etwas, dass immer alles glattgeht und immer alles gleich ist - und ich dies nur noch bestätigt haben möchte. --- Dieser Fall wird quasi nie eintreten. Wenn keine Unterschiede erwartet werden würden, dann bräuchte man die Synchronisationsfunktion ja gar nicht!
Ein typisches Beispiel stellen z. B. auch zwei ausgecheckte Branches oder Arbeitskopien von Quelltextbäumen dar. Auch hier kommen schnell zehn- oder hunderttausende von Einzeldateien in tausenden von Unterverzeichnissen zusammen - von denen sich viele unterscheiden werden. (Die Filterung nach Dateizeiten oder anderen, durch die Versionsverwaltung gesetzten Attributen, bringt hier naturgemäß auch nichts.) Eine Liste der unterschiedlichen Dateien bringt auch hier nichts, wenn man erkennen möchte, was in diesem Branch überhaupt gemacht wurde!
Um noch einmal auf das Backup-Beispiel zurückzukommen, so muss ich sagen, dass ich leider auch schon viele Erfahrungen mit defekten Festplatten, USB-Sticks und SD-Karten machen musste. Da möchte ich auch sehr gerne genau die Stelle(n) sehen können, wo einzelne Bits gekippt oder ganze Zuordnungseinheiten verlorengegangen sind.
Die Funktion "Verzeichnisse synchronisieren..." ist wirklich ein wunderbares Werkzeug, ohne dessen integrierte Filter- und Detailvergleichsfunktionen der tägliche Dateiverwaltungsaufwand RIESIG steigen würde. Ich wünschte, man könnte sie auch für größere Anwendungsfälle effizient benutzen.

Man sieht vielleicht, wie sich die Liste meiner Beispielfälle mehr und mehr füllt. Ursprünglich wollte ich meine Anfrage ja auf den Backup-Fall als Beispiel beschränken. Aber da ich nun auch die defekten Speichermedien angesprochen habe, komme ich doch noch mal auf die ebenfalls schon erwähnten SD-Karten-Images zu sprechen. Das ist leider auch ein "typischer" Anwendungsfall, zumindest wenn man mit Raspberry Pis herumbastelt. Dieser Einplatinenrechner "frisst" ganz gerne SD-Karten! Und wenn das letzt Backup-Image schon zu lange her ist, dann muss eben von der neuerdings defekten Karte noch ein Image gezogen werden. Nicht nur nur eines, sondern viele! Defekte Bits, über das ganze Image verteilt, springen bei jedem Lesevorgang zwischen 0 und 1 hin und her. Unterschiedliche Lesegeräte, Anschlüsse, Betriebstemperaturen lohnen sich hier durchzuprobieren, um ein möglichst weitgehend fehlerfreies Image zu erhalten, um daraus möglichst viele Dateien fehlerfrei extrahieren zu können, um mit der Neueinrichtung nicht wieder bei 0 beginnen zu müssen!
Nach dem letzten großen Crash hatte ich irgendwann mehrere kategorisch angelegte Unterverzeichnisse mit dutzenden von 16-GB-Images vorliegen, zu denen ich mir jeweils notiert hatte, wann und womit ich sie erstellt hatte. - Wie findet man nun heraus, welches Image "das Beste" ist, also durchschnittlich am wenigsten Unterschiede zu den anderen aufweist oder hauptsächlich Bitfehler am Ende (im freien Speicherbereich) besitzt?
Vielleicht bemerkst Du bereits, worauf ich hinaus will!? --- Hier bringen Checksummen wieder überhaupt nichts! Ich möchte nicht nur Downloads überprüfen können, die ich im Fehlerfall, egal welcher Art, einfach noch mal durchführen kann. Sondern es gibt viele Anwendungsfälle, in denen es essenziell wichtig ist, zu sehen, wo genau Unterschiede welcher Art auftreten. - In meinem konkreten Beispiel erkennt man zum Glück sehr schnell, wenn in den endlosen Konfigurationsdateien Bitfehler, also meistens irgendwelche Sonderzeichen in einer reinen ASCII-Datei auftreten - während der aktuelle Vergleichskandidat dort einen normalen Buchstaben enthält. ---> Aber diese Erkenntnisse gewinnt man eben nur, wenn die Dateien auch Byte für Byte verglichen werden!
Am Ende, nach wochenlangem frustrierten Einlesen von Images, hatte ich davon ca. ein TiB herumliegen - ohne jemals zweimal das Gleiche gelesen zu haben (die Suche nach gleichen Dateien ist beim Total Commander ja auch über Checksummen realisiert)! --- Der Frust dieser Wochen wurde durch die extrem lange ratternden Dateivergleiche nur noch mehr befeuert!

Also ich nutze die Vergleiche auch nur an den Stellen, wo mich Art und Umfang der Unterschiede interessieren!
Die vergleichsweise einfacheren und selteneren Fälle von "alles gleich - oder eben nicht", erfülle ich schon immer mittels Checksummendateien (deshalb vermisse ich diese Funktion auch in der Android-Version so sehr - aber das ist eine ganz andere Baustelle).
lbug
Junior Member
Junior Member
Posts: 24
Joined: 2015-10-08, 10:40 UTC

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *lbug »

Hallo Wilhelm,
Prüfsummendateien sind einfache Textdateien, die zeilenweise Einträge für jede einzelne Datei (samt Pfad) enthalten.
Diese Zeilen können beliebig sortiert werden oder zwei dieser Prüfsummendateien können unterschiedlich kodierte Zeilenenden oder beliebige Leerzeilen besitzen, wodurch die Dateien an sich unterschiedlich sind, aber das Verifizieren der enthaltenen Prüfsummen problemlos möglich bleibt.
Vielleicht hattest Du in Deinem Beispiel ja das linke und rechte Verzeichnis unterschiedlich sortiert? Das würde zu unterschiedlich sortierten Dateien führen - die eben selbst NICHT gleich wären.

Ich würde empfehlen, so vorzugehen, wie ich es oben gerade angesprochen hatte (da hatte ich Deinen Beitrag noch nicht gesehen), also:
1. In nur einem Verzeichnis eine Prüfsummendatei anlegen, die Sortierung ist dabei egal. (Hilfreich: Mit [Strg]+[B] kannst Du alle Dateien aus allen Unterverzeichnissen in einer Liste anzeigen lassen -> dann markieren, dann Prüfsummen erstellen lassen.)
1.' Falls Du vermutest, dass das Laufwerk einen Knacks hast, solltest Du hier den Dateicache von Windows leeren und die erstellte Datei gleich an Ort und Stelle noch mal verifizieren. -> Das stellt relativ sicher, dass auch bei mehrmaligem Einlesen von Platte das Gleiche herauskommt.
2. Die erstellte Datei in das zweite Verzeichnis kopieren.
3. (Bei möglichem Knacks des Speichermediums zuerst den Windows-Dateicache leeren.) Die Prüfsummendatei an der neuen Position verifizieren.

In den Prüfsummendateien werden immer relative Pfade gespeichert. D. h., im zweiten Verzeichnis müssen die zu überprüfenden Dateien in den gleichen Unterverzeichnissen zu finden sein.
User avatar
Wilhelm M.
Power Member
Power Member
Posts: 990
Joined: 2003-06-05, 10:45 UTC

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *Wilhelm M. »

Das Verzeichnis auf dem Stick ist ein identisches Abbild des Verzeichnisses auf der Festplatte. Deswegen zeigt auch der Vergleich nach Inhalt (inkl. Unterordner) keinen Unterschied.
Was Du über die Prüfsummendatei verstehe ich schon (Thanks!), aber trotzdem - wenn bei absolut identischen Ordnern (gleiche Struktur und gleiche Dateien) unterschiedliche Prüfsummendateien gebildet werden.... Was soll man daraus schließen? Das zwischen den Ordnern und Dateien und der Prüfsumme keine eindeutige Abbildung erfolgt? Was sagt einem dann diese Datei?

Sorry. Merke gerade, dass diese Fragen weit ab von Deinem Thema führen. :( Ist vielleicht besser, wir lassen es so.
Grüße/Regards,
Wilhelm
User avatar
Hacker
Moderator
Moderator
Posts: 13052
Joined: 2003-02-06, 14:56 UTC
Location: Bratislava, Slovakia

Re: Kann man den Dateicache für "Verzeichnisse synchronisieren..." konfigurieren?

Post by *Hacker »

Wilhelm M.,
wenn bei absolut identischen Ordnern (gleiche Struktur und gleiche Dateien) unterschiedliche Prüfsummendateien gebildet werden.... Was soll man daraus schließen?
Dass die Ordner vielleicht mit einer anderer Sortierung angezeigt wurden, und deshalb die Dateien in einer anderen Reihenfilge abgearbeitet wurden.

Eine Prüfsumme is wie eine Unterschrift. Einfach mal die Prüfsummendatei in Notepad öffnen, ist eine reine Textdatei. Es ist egal, in welcher Reihenfolge die Dateien samt Unterschriften in der Prüfsummendatei auftreten - das einzig wichtige ist, dass jede Datei in der einen Prüfsummendatei dieselbe Unterschrift hat wie in der anderen Prüfsummendatei.

HTH
Roman
Mal angenommen, du drückst Strg+F, wählst die FTP-Verbindung (mit gespeichertem Passwort), klickst aber nicht auf Verbinden, sondern fällst tot um.
Post Reply