NTFS Hardlinks Verzweifelungsfrage

[konsortium]

Hallo zusammen
Bitte entschuldigt falls ich als Novize und bisher noch nichtmal
Total Commaner Kunde hier im Vorfeld eine Frage stelle
die für mich eminent wichtig ist.

Ich habe mich quasi hierhin verirrt und hoffe richtig zu sein.

Ich habe folgendes Problem. Seit 2,3 Jahren setze ich unter
XP, NTFS Hardlinks ein die ich mit diversen Tools, meist via
Drag and Drop aus dem Explorer heraus erstelle.

Sinn und Zweck ist die Verwaltung von Multimedia Daten
ala MP3, MPG, AVI in einer Ordnerstruktur.

Der Hintergrund ist der das ich externe Streaming Clients
benutze um diese Inhalte ins Wohnzimmer zu streamen
und da diese keine Datenbank haben muß ich Verwaltungs
jobs auf dem PC verlagern. Hat auch den Vorteil das beide
Modelle auf den gleichen aufgeräumten Bestand zugreifen
können.

Beispiel Musik Video.

Tina Turner - Private Dancer (1987).mpg
Ich erzeuge einen Hardlink, verschiebe den in einen
anderen Ordner "Jahr" und benenne die Datei dann in
1987 Tina Turner - Private Dancer.mpg um.

Alleine macht das keinen Sinn aber wenn man 500 Musikvideos
in einem Ordner hat sind dort alle Tina Turner Files untereinander
und im Ordner "Jahr" stehen 500 Songs nach ihrem Alter sortiert.

Ich habe teilweise bis zu 5 Links mit unterschiedlichen Namen
für ein und dasselbe File.

Würde zuweit führen das hier alles zu erklären.

Ein Kollege ertappte mich letztens dabei wie ich wieder
mal händisch im Explorer am umbennen war und meinte
ich solle mir mal das Multiumbenennungstool vom TC ansehen.

So kam ich überhaupt hierhin.

Was ich wissen möchte ich folgendes. Meine ganze Sammlung
ist auf doppeltes Harddisk Backup ausgelegt aber ich finde
kein Tool welches Hardlinks mitkopiert.

Ein Rsync Snapshot Backup nützt mir hier nichts auf ein und
derselben Platte. Wenn die Fratze ist hab ich nichts mehr davon.

Tausend Tools für "Creata Hardlink" aber nix für "move", "copy"
in dem Bereich gefunden.

Einer der 5 Links der Datei steht in meinem Source
Verzeichnis.
Das sieht quasi so aus.

Source\DVD0001
Source\DVD0002

Sobald ich 4.6 GB zusammenhabe wird ein neues Verzeichnis
erstellt z.b DVD0003 und dort reinkopiert. Hier erzeuge ich
die Hardlinks und schaffe sie ins Archiv Verzeichnis
rüber wo ich dann einsortiere und sie ggf nochmal dupliziere.
Aber die Basis sind die DVDxxxx Ordner die ich gesichert habe.

Aber im Falle eines Crashes sind die Daten zwar wieder beschaffbar
zumal diese DVDxxxx Ordner auf ner 2.ten Platte auch noch sind
aber die mühsam aufgebaute Ordnung durch umbenenen ist
Futsch. Verzweifelt suche ich dafür eine Lösung.

Kennnt jemand ein Tool welches hier helfen kann oder ist
der Total Commander sogar in der Lage diese Problematik
zu beherschen. Ich wäre sehr sehr dankbat für irgendwelche
Hinweise. Vieleicht gibt es irgendwelche MFT Backup Tools oder so.

Alle Tools kopieren bei o.g Beispiel den Tina Turner Song
physikalisch 2 mal obwohl er nur einmal Platz braucht

Wenn ich bis zu 5 Links auf einer Datei habe dann würden
alle Tools bei einer vollen 500GB Platte satte 2.5Teras kopieren wolllen.
Dafür muß es doch irgendeine Lösung geben.

Tut mir leid für den langen Text aber wie sollte ich es kürzer
beschreiben.

gruß
konsortium

[ghisler(Author)]

Total Commander unterstützt das leider (noch?) nicht. Das Problem dabei ist, dass TC nicht wissen kann, ob die Originaldatei auch kopiert wurde/wird. Je nachdem, wo die Links und wo die Dateien stehen, kann es sein, dass die Links vor den Dateien kopiert werden...

[matixx]

Sinn und Zweck ist die Verwaltung von Multimedia Daten
ala MP3, MPG, AVI in einer Ordnerstruktur.

Wo ist das Problem ? Ich habe eine solche Ordnerstruktur und komme ganz ohne Hardlinks aus. Du sagst das du bis zu 5 versch. Sortierungen nutzen willst. Könntest du bitte deine Struktur mal erläutern... Nutzt du überhaupt gar keine Tags oder Playlisten ? (zugegeben, ich verstehe die Arbeitsweise deine streaming-clienten noch nicht ganz)

[konsortium]

Danke schonmal für diese Antwort.
Natürlich hab ich im Vorfeld schon das Web rauf und runter
gesucht und dabei immer folgenden Konsenz gefunden.

1. Logischerweise geht das nur auf dem gleichen Medium
und nicht partitionsübergreifend

2. Eine neu erstellte Datei bekommt einen Eintrag in der MFT
und verweist auf einen Datenstrom. Im Header vom Datenstrom
steht dann als Counter eine 1

3. Wird nun ein Hardlink auf diese Datei erstellt hab ich wieder
einen Eintrag in der MFT die widerum auf den gleichen INode
verweist und im Datenstrom wird der Counter auf 2 erhöht.

4. Dadurch können zwar beide MFT Einträge auch mit unterschiedlichen
Namen (was bei mir ja den Reiz ausmacht) angesprochen werden
aber aus dem Datenstrom selber ist kein Rückschluß auf den
MFT Eintrag möglich.

Sobald aber nun mindestens ein zweiter MFT Eintrag existiert
ist es eigentlich nicht mehr möglich zu sehen wer der "erste"
war (ggf übers Datum)

Gibt es denn nicht irgendeinen Workaroud dafür ?
z.b Robocopy ....

HSscan.exe kann wohl solche Links finden und auflisten.
Dort sollten dann ja gleiche Inode Nummern für mehre
Einträge existieren. Kann man mittels so einer Liste und
FSutil dann nachträglich so eine Verzeichnisstruktur wieder
aufbauen.

Nachdem ich diese Dinge rausgefunden habe muß ich sagen
daß dies im NTFS Filesystem nicht wirklich toll gelöst wurde.
Ich hab aber leide keine Ahnung ob sowas auf Linux/Posix
Seite ähnlich dämlich gemacht wurde.

Dämlich ist vieleicht übertrieben aber es wirkt nicht zu Ende
gedacht aus Backup technischer Sicht.

Die Rsync Snapshot Methode erscheint hier zwar schon nicht
schlecht aber da es ja nicht Partitionsübergreifend funktionieren
kann was absolut logisch erschein ist beim Festplattencrash
Schluß.

Wenn ich einfach nur 1:1 (vom Namen her gesehen) Links
erstellen würde wäre mir das auch egal. Dann würde ich
die einfach nach einspielen des Backups wieder neu anlegen
aber gerade die Sortiermöglichkeit durch "umbenennen"
der Files macht das ganze so reizvoll für die Anbindung
an Geräte die auf SMB Shares zugreifen können.

Mir ist jeder Rettungsanker (Script, Batch) recht.

Wenn also "irgendwas " möglich wäre würde ich mich
sehr über Tips freuen.

[konsortium]

>Wo ist das Problem ? Ich habe eine solche Ordnerstruktur und komme >ganz ohne Hardlinks aus.

Es ist eine Frage der Menge und der Firmware Bugs in Verbindung
mit diesen Streaming Clients. Alleine darüber kann man wochenlang
philosophieren. Und ohne unhöflich sein zu wollen war
es nicht eine "Sinn" Frage sondern eine Aufdeckung eines
NTFS Features welches nicht bis zu Ende (Backup) gedacht
ist und in die Abteilung "Dateiverwaltung Spezialsoftware"
meiner Meinung nach fallen könnte.

... und in dem Zusammenhang fällt einem dann der
TotalCommander quasi als Xtreme Explorer ein.

und natürlich hab ich auch Playlisten und Tags aber
was nützt es wenn der eine keine M3Us lesen kann und
der andere keine ID3 Tags (oder nicht gescheit)

Man würde ja auch nicht erwarten daß ein Gerät aus 2006 immer
noch nicht die Spielzeit eines MP3 VBRs anzeigen kann.
- von 100 anderen Trivialitäten mal abgesehen ...

Genauso albern finde ich es daß es Hardlinks gibt und keine
Möglichkeit des Backups. Und im Gegensatz zu den paar
100 tausend Streaming Client Usern stehen Millionen weltweit
die XP und NTFS nutzen. Da stufe ich die " da wird ihnen geholfen"
Chancen einfach höher ein.

und die Frage warum ich überhaupt 2 Streaming Clients
habe dürfte wohl auch klar sein. Weil beide nicht das halten was
sie versprechen und ich mir im Vorfeld immer überlegen kann
welcher für welchen Job gerade der bessere ist.

WAF (Woman Acceptance Factor) = NULL

[norfie²]

Backup von Hardlinks

1) als Festplattenimage
mit z.B. http://www.drivesnapshot.de/de/index.htm
Vorteil:
funktioniert, einfach
Nachteile:
Restauration mit Hardlinks nur als vollstaendige Partition moeglich
sichert ganze Partition -> sinnvoll extra Partition nur fuer die MP3s
trotz der Moeglichkeit von differentiellen oder inkrementellen Backups bei haeufigen Backups dauert es relativ lange bzw. es wird mit der Zeit immer mehr Platz benoetigt (da immer alle Aenderungen auf der Partition gesichert werden - nach einem Defragmentierungsvorganz z.B. wird es extrem viel)

2.) mittels eines Packers (solid/progressive Archive)
z.B. WinRAR, Squeez ...
einziger Vorteil: spart (nur bei der Sicherung) Speicherplatz, da gleiche Dateien erkannt werden und i.d.R. nicht doppelt im Archive landen
Nachteil: langsam
Wiederherstellung nur als echte Kopie und nicht als Hardlink

[JFierce7]

Wieso gibt es keine Möglichkeit eines Backups? Mach ein sektorweises Image, da hast Du alles genau wie Du es willst.
Beim dateibasierten Backup ist es doch nur logisch, dass die Information verloren geht - sie wird ja gar nicht gespeichert. Dafür kann aber NTFS nichts, sondern es liegt in der Natur der Sache, dass die Hardlinks auf eine Datei nicht mehr unterscheidbar sind.

[norfie²]

2JFierce7
Es waere schon moeglich auch bei dateibasieretem Backup Hardlinks "korrekt" zu behandeln - es ist jedoch aus Sicht eines dateibasiertem Backups eher ungewoehnlich, solch sehr dateisystemspezifischen Details zu beruecksichtigen.

[JFierce7]

Ja, das ist richtig, wobei ich eher sagen würde: Es wäre theoretisch möglich, praktisch jedoch so aufwändig und mit so vielen Unwägbarkeiten (vor allem beim Wiederherstellen) verbunden, dass es nicht sinnvoll ist.

Es gibt übrigens Programme, die Dubletten auf der Festplatte suchen und diese durch Hardlinks ersetzen. Vielleicht hilft das ja weiter (ungetestet!):
http://www.sentex.net/~mwandel/finddupe/
http://www.jensscheffler.de/dfhl.html

[konsortium]

@norfie²
Ich habe prinzipiell System und Daten völlig getrennt.
Das System wurde früher mit Ghost und heute mit Acronis
gesichert. Ich werde mir mal Drivesnapshot ansehen um
zu vergleichen was es anders macht.

Die Daten sind entweder auf separaten internen Platten oder auf
externen Devices. Ich setze hierzu besonders gerne die NDAS
Gehäuse von Ximeta ein weil sie zuverlässig sind und eine
akzeptable Geschwindigkeit über Ethernet bieten.

Der Einsatz eines Packprogramms erübrigt sich da es mir
ausschließlich um Multimedia Dateien geht die eh alle
schon hochkomprimiert sind und der Packer dort nichts
mehr packen kann. Gerade bei den großen Datenmengen
spielt die Geschwindigkeit des Mediums dann auch wieder
eine Rolle. Beispiel. Ein reiner MD5 Scan auf der 500GB
NDAS Platte dauert 26 Stunden. Die gleiche als eSATA
angeschlossen ist in 5 Stunden durch. Davon mal eben ein
Zip/Rar zu machen ist gar nicht so einfach.
Da muß man schon die Parameter suchen um Temp Speicher
beim Packer explizit zu unterdrücken etc etc.

@JFierce7
Nachgedacht hab ich über das Sektorsichern auch.
Das es inkrementelles Sektorsichern gibt bei den Imagern
wußte ich bisher noch nicht. Danke, auch das schau ich mir
mal an.

@All
Prinzipiell gebe ich allen Recht das mein Wunsch ggf sehr
ungewöhnlich erscheint. Vieleicht war MP3 als Beispiel
auch nicht so gut gewählt.

Nehmen wir mal eine 250GB Platte.

Bei MP3s reden wir vieleicht von 20000 Dateien.
Bei MP3s ist der Wunsch nach Hardlinks auch gar nicht so
groß weil ich da jede Menge Playlists fertig habe (Alben/Mix)
und wenigstens einer der Player damit umgehen kann.

Die sicher ich einfach 1:1 auf ner anderen Platte und
zyklisch laße ich auf dem Backup Medium den MD5 Scan
laufen um die Konsistenz zu prüfen. Danach ist sie
wochenlang aus damits keinen viralen Infekt gibt.

Bei Musikvideos reden wir aber nur noch von vieleicht
2000 Files auf einer Platte. Und da geht der Wunsch
nach den Hardlinks los. Hier ist mir einfach manchmal
nicht danach 20 Whitney Houston Videos hintereinander
zu sehen. Dort greift dann das "Jahr" .. Mir ist gerade
nach 80er'n oder sogar eine Playlist die man sich
erstellt hat (Sport Hintergrundberieselung)

Bei Filmen wirds dann noch weniger. Vieleicht 120 Filme
auf derselben Platte und eine Playlist mit 10 Filmen
schaffe ich einfach nicht

Aber hier wirds umso wünschenswerter mit Hardlinks
zu arbeiten und wenns ne einfache Lösung gäbe
könnte man von der 1:1 Link Geschichte die ich
bei den Musikvideos nutze sogar noch viel mehr
machen. (1:N)

Sender, Hauptdarsteller,Film, Jahre, Staffeln etc etc.

Spätestens wenn die 1TB Platte so günstig ist wie
jetzt die 500GB möchte ich umschaufeln und die
teilweise "händisch" gemachten Umbenennungen
mitnehmen. - da könnte dann ggf ein Imager helfen ...

Das Problem ist das man nicht vor einem Datenbestand
sitzt der einmal eingefroren werden soll sondern langsam
dynamisch wächst. Ich kann heute ein Tina Turner Video
auf Deluxe capturen und in 3 Jahren noch eins.
Oder ich stelle fest daß ich 2x Sisters of Mercy
geschrieben habe und vor 2 Jahren "The" Sisters of Mercy.
Das nimmt mir kein Programm ab wenn in einem Directory
500 Files stehen und "S" und "T" soweit getrennt sind.

Das ist Handarbeit.

Da immer nur ab und an was neues dazukommt ist
das auch kein Akt. Es geht nur darum diese über Jahre
gewachsene Sammlungs zu erhalten und zu pflegen
und diese schlecht zu automatisierenden Dinge
einzufrieren.

Ich experimentiere gerade mit HLscan.exe.
Dieses Programm erstellt einen Report und spuckt allle
Dateien aus die Hardlinks sind.

Mit Robocopy bin ich schonmal soweit daß ich entweder
die leere Verzeichnisstruktur ohne Dateien 1:1 duplizieren
kann oder sogar eine 1:1 Kopie mit allen Dateien mit
der Länge 0 erstellen kann.

Theroretisch ...
Muß ich nur irgendwie die HLscan Report Datei einlesen
und daraus dann die fehlenden Hardlinks aufbauen mittels
FSUtil. Da der leere Verzeichnisbaum mittels Robocopy
existiert funktioniert der Befehl
"FSutil Hardlink Create NeuerName AlterName"
auch problemlos.

Ich hab vor Jahren mal etwas programmiert allerdings
war das noch zu Dos Zeiten und mein PowerBasic
kann nur äußerst unelegant mit langen Dateinamen
umgehen. Ich müßte jetzt irgendwie ne Scriptsprache
haben mit der ich das einfach realisieren könnte.

Wenns mans genau nimmt brauch ich im Backup
überhaupt keine Hardlinks. Ich muß lediglich ab und an
einen HLScan Report machen.
Wo meine Souce Dateien liegen, die es zu backupen
gilt habe ich mir ja selber festgelegt und das kann
ich dann mit dem Explorere oder besser bald mit dem TC
machen.

Sobald die wieder eingespielt sind ist ja alles da und
ich muß nur die HLscan Report Datei auswerten und
die Links neu erzeugen. Mehr wäre es eigentlich nicht.

Theorie Ende ...

[norfie²]

Ich werde mir mal Drivesnapshot ansehen um
zu vergleichen was es anders macht.

Gar nichts wirklich anders. Es ist halt Shareware, welche man vorher ausprobieren kann. Die aktuellen Versionen von Ghost als auch Acronis beherrschen inkrementelle und/oder differentielle Backups.

Ich müßte jetzt irgendwie ne Scriptsprache
haben mit der ich das einfach realisieren könnte.

Bei XP kann man mittlerweile eine ganze Menge schon mit Batch-Skripten automatisieren. Der "for"-Befehl eignet sich z.B. um eine LOG-Datei zu "analysieren". Zudem gibt es den Windows Scripting Host.

[StatusQuo]

2norfie²

Bei XP kann man mittlerweile eine ganze Menge schon mit Batch-Skripten automatisieren. Der "for"-Befehl eignet sich z.B. um eine LOG-Datei zu "analysieren".

Gute Idee, mit etwas Glück ist das recht einfach.

2konsortium

Theroretisch ...
Muß ich nur irgendwie die HLscan Report Datei einlesen
und daraus dann die fehlenden Hardlinks aufbauen mittels
FSUtil. Da der leere Verzeichnisbaum mittels Robocopy
existiert funktioniert der Befehl
"FSutil Hardlink Create NeuerName AlterName"
auch problemlos.

Wenn Du ein paar Beispielzeilen von der HLScan-Ausgabe postest, versuche ich mich gern an einer Batch-Datei dazu.

[konsortium]

@StatusQuo
Entschuldige meinen Gefühlsausbruch aber das wäre ja GEIL

Ich darf noch keine Links als neuer User posten.
Vieleicht kannst du dir die nächste Zeile zusammenreimen.
knallrotersack in Deutschland Foren Temp Hlscan.zip

Hier würdest du einen HLscan Report vom Musikbestand
finden . Es sind jeweils 3 Links.

Ich kann mit Robocopy sowohl eine leere Verzeichnis
Struktur erzeugen als auch eine Variante mit allen
Dateien drin aber mit der Länge 0.
Hierbei handelt es sich dann aber nicht mehr um "verlinkte".
Falls du eine oder beide für Experimente brauchst könnte
ich Dir sowas morgen erstellen und mailen.

Ich kann natürlich auch eine Dateilänge 0 nur im
Source Verzeichnis machen und im Archiv dann
lediglich die Verzeichnis Struktur erstellen.
Dort würde es ja darum gehen dann die Links
nachträglich aufzubauen.

Sag einfach welche Variante du brauchbarer findest.

Warum ich auf der Dateigröße 0 rumreite.
Ersten Testversuchen nach scheint es zu funktionieren
daß man quasi eine solche 3 x verlinkte Struktur
mit Verzeichnisbäumen und Leerdateien aufbauen kann.

Dann kopiert man einfach rüber, beantwortet die
"alle überschreiben" Frage mit ja und im Anschluß
sind automatisch auch alle Links aktualisiert.
Nur die Dateigröße wird im Explorer erst nach dem
ersten Zugriff aktualisiert. Habs mit nem AVI
ausprobiert. Nach dem kopieren war die eine
Datei in der Größe korrekt angezeigt.
Die beiden Links darauf hatten aber noch die
Länge 0. Ich konnte das 0 Byte AVI trotzdem starten
und abspielen und nach schließen des MediaPlayers
stand dann die richtige Größe im Explorer.

Dazu fällt so eine Zip Datei natürlich auch in sich
zusammen und ist rappzapp erstellt.

Zu deinem möglichen Script.

Es wäre wünschenswert wenn die Anzahl der Links
welche ja auch im Report stehen variabel wäre.
Wenn der Counter auf 3 steht wie in dem Beispiel Report
findet man auch 3 Dateinamen darunter.
Bei 2 oder 5 wären es dann halt 2 oder 5 Folgezeilen.
Das wäre also ggf ein Parameter für die For Schleife.

gruß
konsortium

[norfie²]

Hier der Link auf HLSCAN.ZIP zum Klicken.

2konsortium
Der Report sieht prima aus: die Dateien nur aus den Verzeichnissen \DVD*\ und den Report zu sichern, ist vollkommen ausreichend. Falls die Anzahl aller Links identisch ist, kann mit einem einfachen, makrofaehigen Editor schnell ein Batch generiert werden. Nur bei variabler Anzahl muesste ein wenig "programmiert" werden.

[konsortium]

> Nur bei variabler Anzahl muesste ein wenig "programmiert" werden.

Tja, und genau das hab ich bisher eben vermieden weil ich keine
Lösung für das Problem hatte. Ich hätte ansonsten öfters schonmal
eine variable Anzahl von Links eingesetzt.

Wäre der Aufwand denn sehr groß das variabel zu machen zumal
die Countervariable ja schon im Report steht ?

EDIT:
Was mir gerade noch einfällt. Sucher mal im Report nach "defekt".
Dann wirst du sehen daß dort einige MusikVideos im
Source\WaitExchange Verzeichnis stehen.

Es hat keinen Einfluss auf das Script weil es auch unter Source
steht aber eine Erklärung wollte ich Dir dafür geben.

Angenommen der Song hat aus irgendeinem Grund ne Macke
(kurzer Satausfall) und mein Herz hängt dran dann behalte ich
ihn und schieb ihn so quasi in die Karantäne.
Im Archiverzeichnis mit den Links wird er normal "fehlerfrei"
umbenannt und das Directory ist dort dann sauber.
Wenn ich ihn irgendwann fehlerfrei als Ersatz habe tausche
ich ihn im WaitExchange Verzeichnis aus und move ihn
dann ins DVDxxxx rüber.

Das funktioniert astrein seit Jahren und auf den DVDs als
Backup hab ich keine Leichen. Diese defekten sind nur wenige
und solange auf ner RW