Kopiermethode für große Dateien

German support forum

Moderators: white, Hacker, Stefan2

Post Reply
Zendo
Power Member
Power Member
Posts: 634
Joined: 2006-10-26, 11:16 UTC

Kopiermethode für große Dateien

Post by *Zendo »

Hallo zusammen, liebe Formgemeinde.

Ich würde gerne wissen ob man die im TC verankerte Kopiermethode für große Dateien (ohne Cache),

mit den Programmen wie z.B FastCopy,TeraCopy und RichCopy zu vergleichen ist, da die ja ähnlich wenn nicht sogar gleich funktionieren.

Ich möchte mir das messen alle Programme ersparen. Vielleicht weiß das ja jemand oder hat das mal ausprobiert.

Mir geht es dabei nicht um ein unterschied von 5 Min. Ich kopiere mit TC der Zeit 5.5 TB in ca 3 Stunden mit USB 3.0 (da ist und bleibt sicher eine Einschränkung die durch USB 3 geschuldete ist.) Aber z.B von SSD nach SSD 1 TB ist mit dem TC ca 1 Stunde.
Beste Grüße Zendo.
Als die Talente verteilt wurden,hat man mich in Quarantäne gesteckt.

Windows 10 Pro(x64) Version 22H2 (Build 19045.4046)
AMD Ryzen 9 5950X 16-Core Processor 4.40 GHz 64,0 GB
Total Commander 11.03 x64
Everything 1.5.0.1370a. x64
User avatar
ghisler(Author)
Site Admin
Site Admin
Posts: 48021
Joined: 2003-02-04, 09:46 UTC
Location: Switzerland
Contact:

Re: Kopiermethode für große Dateien

Post by *ghisler(Author) »

Nein, wohl nicht - bei diesen spezialisierten Programmen haben die Entwickler tausende von Stunden in diese eine spezielle Funktion investiert, um sie extrem zu optimieren. Das ist bei einem Allroundprogramm wie Total Commander schlicht nicht möglich.
Author of Total Commander
https://www.ghisler.com
User avatar
Dalai
Power Member
Power Member
Posts: 9364
Joined: 2005-01-28, 22:17 UTC
Location: Meiningen (Südthüringen)

Re: Kopiermethode für große Dateien

Post by *Dalai »

Spliff Commander wrote: 2018-08-08, 14:35 UTCIch möchte mir das messen alle Programme ersparen. Vielleicht weiß das ja jemand oder hat das mal ausprobiert.
Dir wird nichts anderes übrig bleiben, weil es viel zu viele Faktoren gibt, die das Kopieren und die Geschwindigkeit beeinflussen können. Jedes System reagiert anders, es hängt davon ab, von wo nach wo kopiert wird, welche Interfaces beteiligt sind uvm. Die Ergebnisse von Person/System X können somit von denen von Person/System Y stark abweichen. Das macht eine pauschale Empfehlung sinnfrei.

Grüße
Dalai
#101164 Personal licence
Ryzen 5 2600, 16 GiB RAM, ASUS Prime X370-A, Win7 x64

Plugins: Services2, Startups, CertificateInfo, SignatureInfo, LineBreakInfo - Download-Mirror
User avatar
Horst.Epp
Power Member
Power Member
Posts: 6450
Joined: 2003-02-06, 17:36 UTC
Location: Germany

Re: Kopiermethode für große Dateien

Post by *Horst.Epp »

Spliff Commander wrote: 2018-08-08, 14:35 UTC Hallo zusammen, liebe Formgemeinde.

Ich würde gerne wissen ob man die im TC verankerte Kopiermethode für große Dateien (ohne Cache),

mit den Programmen wie z.B FastCopy,TeraCopy und RichCopy zu vergleichen ist, da die ja ähnlich wenn nicht sogar gleich funktionieren.

Ich möchte mir das messen alle Programme ersparen. Vielleicht weiß das ja jemand oder hat das mal ausprobiert.

Mir geht es dabei nicht um ein unterschied von 5 Min. Ich kopiere mit TC der Zeit 5.5 TB in ca 3 Stunden mit USB 3.0 (da ist und bleibt sicher eine Einschränkung die durch USB 3 geschuldete ist.) Aber z.B von SSD nach SSD 1 TB ist mit dem TC ca 1 Stunde.
Du kannst z.B. FastCopy ohne Probleme im TC integrieren
Damit läuft die Selektion im TC und der Rest in FastCopy ab.
Habe ich früher auch mit TeraCopy gemacht, bin aber auf FastCopy umgestiegen.
Windows 11 Home x64 Version 23H2 (OS Build 22631.3374)
TC 11.03 x64 / x86
Everything 1.5.0.1371a (x64), Everything Toolbar 1.3.2, Listary Pro 6.3.0.69
QAP 11.6.3.2 x64
Zendo
Power Member
Power Member
Posts: 634
Joined: 2006-10-26, 11:16 UTC

Re: Kopiermethode für große Dateien

Post by *Zendo »

Vielen lieb Dank an euch Hr.Ghisler, Dalai und Horst.Epp. Das hat mir sehr geholfen.

Eine Frage noch an Horst.Epp. Wenn ich FastCopy im TC integrieren möchte, wie mache ich das, bzw kann ich dann auch die Tasten F5 und F6 belegen wie beim TC. Ersten muss ich mich nicht Umstellen und Zweites ich brauche das dann ja auch nur wenn ich sehr große oder sehr viele Kopieren oder zu verschieben habe. Danke noch mal an euch.
Beste Grüße Zendo.
Als die Talente verteilt wurden,hat man mich in Quarantäne gesteckt.

Windows 10 Pro(x64) Version 22H2 (Build 19045.4046)
AMD Ryzen 9 5950X 16-Core Processor 4.40 GHz 64,0 GB
Total Commander 11.03 x64
Everything 1.5.0.1370a. x64
User avatar
Horst.Epp
Power Member
Power Member
Posts: 6450
Joined: 2003-02-06, 17:36 UTC
Location: Germany

Re: Kopiermethode für große Dateien

Post by *Horst.Epp »

Spliff Commander wrote: 2018-08-08, 18:30 UTC Vielen lieb Dank an euch Hr.Ghisler, Dalai und Horst.Epp. Das hat mir sehr geholfen.

Eine Frage noch an Horst.Epp. Wenn ich FastCopy im TC integrieren möchte, wie mache ich das, bzw kann ich dann auch die Tasten F5 und F6 belegen wie beim TC. Ersten muss ich mich nicht Umstellen und Zweites ich brauche das dann ja auch nur wenn ich sehr große oder sehr viele Kopieren oder zu verschieben habe. Danke noch mal an euch.
Hie mal meine Copy Bar file welche ich als Drop-Down im TC benutze.

Code: Select all

[Buttonbar]
Buttoncount=4
button1=C:\Tools\FastCopy\FastCopy.exe
cmd1=c:\Tools\FastCopy\FastCopy.exe
iconic1=0
menu1=FastCopy
button2=c:\Tools\FastCopy\FastCopy.exe
cmd2=c:\Tools\FastCopy\FastCopy.exe
param2=/auto_close /cmd=diff  /balloon=FALSE /estimate /srcfile=%UL /to="%T"
iconic2=0
menu2=FastCopy Copy
button3=C:\Tools\FastCopy\FC Move.ico
cmd3=c:\Tools\FastCopy\FastCopy.exe
param3=/auto_close /cmd=move /estimate  /balloon=FALSE /srcfile=%UL /to="%T"
iconic3=0
menu3=FastCopy Move
button4=C:\Tools\FastCopy\FC Delete.ico
cmd4=c:\Tools\FastCopy\FastCopy.exe
param4=/auto_close /open_window /cmd=delete /wipe_del /srcfile=%UL
iconic4=0
menu4=FastCopy Delete
Du kannst natürlich auch einzelne Befehle als User commands em_xxx definieren
und denen dann auch die gewünschten Tasten zuweisen.
Windows 11 Home x64 Version 23H2 (OS Build 22631.3374)
TC 11.03 x64 / x86
Everything 1.5.0.1371a (x64), Everything Toolbar 1.3.2, Listary Pro 6.3.0.69
QAP 11.6.3.2 x64
Tiggaa
Member
Member
Posts: 151
Joined: 2007-06-15, 21:27 UTC

Re: Kopiermethode für große Dateien

Post by *Tiggaa »

Einbauanleitung ? Notwendige Konfiguration der Software selber ? Zumindest ich komme mit dem bisschen hier nicht über ein frustrierend unerfolgreiches herumprobieren hinaus.
User avatar
HolgerK
Power Member
Power Member
Posts: 5406
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Re: Kopiermethode für große Dateien

Post by *HolgerK »

Spliff Commander wrote: 2018-08-08, 14:35 UTC Ich kopiere mit TC der Zeit 5.5 TB in ca 3 Stunden mit USB 3.0 (da ist und bleibt sicher eine Einschränkung die durch USB 3 geschuldete ist.)
Taschenrechner:
5.5(TB) * 1024 * 1024 / 3(h) / 60(min) / 60(s) = 533 MB/s
Da ist wohl zudem die enorm schnelle externe Festplatte (normalerweise haben rotierende Festplatten eine Übertragungsgeschwindigkeit von max. 100-240 MB/s !!) der begrenzende Faktor. ;-)
Aber z.B von SSD nach SSD 1 TB ist mit dem TC ca 1 Stunde.
1(TB) * 1024 * 1024 / 1(h) / 60(min) / 60(s) = 291 MB/s
Da kommt es darauf an welche SSD (preiswert oder teuer / Sata, SAS oder NVMe) und die Art der Daten (viele kleine bis eine einzige grosse) kopiert werden.
Von <100MB/s (preiswerte SATA-SSD ohne Cache und billigem Controller) bis 3000MB/s (teure NVMe-SSD) sind da grob geschätzt die technischen Grenzen.

Bevor du versuchst mit Software(-Konfiguration) etwas zu beschleunigen, solltest du dir ein Bild davon machen was die Hardware rein theoretisch überhaupt ermöglichen könnte und dies mit dem einmal (exakt) Gemessenen vergleichen.
Und verlass dich dabei nicht auf Prospektangaben die einfach nur die theoretische Schnittstellengeschwindigkeit propagieren.
Bei einer SSD sind da z.B. noch so Sachen mit im Spiel wie: Geschwindigkeitsdrosselung bei Erwärmung, unterschiedliche Leistung bei Lesen oder Schreiben, unterschiedliche Flash-Speicher (SLC, MLC, TLC oder sogar QLC-Nand), DRAM-Cache oder simulierter SLC-Cache, Anzahl der Speicher-Kanäle über die das NAND angesprochen wird,...

Ich vermute jedoch das du mehr Zeit in das Ausprobieren investieren wirst, als du nachher evtl. (oder auch nicht) beim Kopieren einsparst.

Gruss
Holger
Make our planet great again
Zendo
Power Member
Power Member
Posts: 634
Joined: 2006-10-26, 11:16 UTC

Re: Kopiermethode für große Dateien

Post by *Zendo »

Vielen Dank für eure Mühe.
2 Holger das von mir waren ja auch nur geschätzt angaben. Ich habe es nie gemessen könnten auch 4 Stunden gewesen sein es läuft einfach nachts und wenn ich wieder wach werde ich es fertig. Weil sich dann nachts der komplette Rechner nur das Kopieren "konzentrieren" kann ;)
HolgerK wrote: Und verlass dich dabei nicht auf Prospektangaben die einfach nur die theoretische Schnittstellengeschwindigkeit propagieren.
Bei einer SSD sind da z.B. noch so Sachen mit im Spiel wie: Geschwindigkeitsdrosselung bei Erwärmung, unterschiedliche Leistung bei Lesen oder Schreiben, unterschiedliche Flash-Speicher (SLC, MLC, TLC oder sogar QLC-Nand), DRAM-Cache oder simulierter SLC-Cache, Anzahl der Speicher-Kanäle über die das NAND angesprochen wird,...
Da gebe ich dir recht und viele sachen davon wusste ich nicht wie z.B (SLC, MLC, TLC oder sogar QLC-Nand) SLC-Cache, Anzahl der Speicher-Kanäle über die das NAND angesprochen wird und die Geschwindigkeitsdrosselung bei Erwärmung waren/sind mir neu.
HolgerK wrote: Ich vermute jedoch das du mehr Zeit in das Ausprobieren investieren wirst, als du nachher evtl. (oder auch nicht) beim Kopieren einsparst.
deshalb wollte ich mir das ja "Ausprobieren" ersparen. Vielen Dank für die Infos.

2 Horst.Epp

Vielen Dank das werde ich morgen mal ausprobieren.

Vorab wie Tiggaa schon geschrieben hatte, wäre eine Einbauanleitung sicher nicht schlecht wenn das nicht zu viel mühe macht.
Ich werde es aber erst mal selber Probieren. :)
Beste Grüße Zendo.
Als die Talente verteilt wurden,hat man mich in Quarantäne gesteckt.

Windows 10 Pro(x64) Version 22H2 (Build 19045.4046)
AMD Ryzen 9 5950X 16-Core Processor 4.40 GHz 64,0 GB
Total Commander 11.03 x64
Everything 1.5.0.1370a. x64
PhilDer
Junior Member
Junior Member
Posts: 5
Joined: 2018-08-09, 21:18 UTC

Re: Kopiermethode für große Dateien

Post by *PhilDer »

Danke auch zuvor an Horst.Epp für sein Konfigurationsbeispiel von Fastcopy.

Aber zurück zum TC:

- Was genau bringt denn die "Kopiermethode für große Dateien" und in wiefern ist sie unsicherer, insb. wenn beim Kopieren auf verschiedene Laufwerke nur kleiner Puffer genützt wird, sehe ich jetzt nicht viel Risiko. Und vor allem nicht bei internen Platten. Oder?

Ist damit die Unsicherheit gemeint, dass der Strom ausfällt bzw. Akku leer ist o.ä.? Ich meine die Methoden sind ja nicht erst 2 Tage alt, da sollte die zweite Unsicherheit, dass die Routinen weniger getestet werden/wurden, ja inzwischen aufgehoben sein?
User avatar
HolgerK
Power Member
Power Member
Posts: 5406
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Re: Kopiermethode für große Dateien

Post by *HolgerK »

PhilDer wrote: 2018-08-09, 21:39 UTC - Was genau bringt denn die "Kopiermethode für große Dateien" und in wiefern ist sie unsicherer, insb. wenn beim Kopieren auf verschiedene Laufwerke nur kleiner Puffer genützt wird, sehe ich jetzt nicht viel Risiko. Und vor allem nicht bei internen Platten. Oder?

Ist damit die Unsicherheit gemeint, dass der Strom ausfällt bzw. Akku leer ist o.ä.? Ich meine die Methoden sind ja nicht erst 2 Tage alt, da sollte die zweite Unsicherheit, dass die Routinen weniger getestet werden/wurden, ja inzwischen aufgehoben sein?
Uralter Thread zu einem solchen Kopierproblem und mein persönlicher Erklärungsversuch warum es Probleme bereiten kann nicht die Standard-Kopiermethode zu benutzen:
viewtopic.php?p=145471#p145471

Gruss
Holger
Make our planet great again
PhilDer
Junior Member
Junior Member
Posts: 5
Joined: 2018-08-09, 21:18 UTC

Re: Kopiermethode für große Dateien

Post by *PhilDer »

Danke. Meine persönliche Zusammenfassung des Threads wäre: "Zusammengefasst kann man ohne Kompatbilitätsmodus keine Probleme erwarten, wenn die Hardware/OS Kombination sauber ReadFile/WriteFile mit unterschiedlichen Blockgrößen implementiert-
andere Blockgrößen, als sie vom Explorer benutzt werden, können bei solchen fehlerhaften Implementierungen insb. möglich bei NAS Drives oder auch wie beim Windows Home Server eben in der TC Standardeinstellung, d.h. ohne extra angeschalteten Kompatbilitätsmodus zu Fehlern führen."

Offen blieb aber die Frage, ob und was der Kompatbilitätsmodus jetzt viel anders macht, als "Standard-Kopiermethode" mit der voreingestellten (32K)
Puffergröße..
(Konfigurieren- Einstellungen - Kopieren/Löschen)

?
Kann das jemand beantworten? Das heißt auf jeden Fall quasi, dass es drei im Detail verschiedene Kopiermethoden im TC gibt..
Dies als Zusammenfassung mal zugreifbar zu machen, wäre ja sicher sinnvoll.
User avatar
HolgerK
Power Member
Power Member
Posts: 5406
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Re: Kopiermethode für große Dateien

Post by *HolgerK »

Wenn ich mich richtig erinnere, sind die Standardkopiermethode und der Kompatibilitätsmodus mehr oder weniger dasselbe (basierend auf CopyFileEx).

Was die Experten-Einstellungen(Blockgrösse für das Kopieren von kleinen, grosse Dateien, auf oder zwischen verschiedenen Laufwerken) betrifft, kannst du gerne experimentieren ob du da noch ein kleines bisschen Speed raus holen kannst indem du die Blockgrössen variierst und austestest (Laufwerkszuordnungen: Partitionen auf einer Platte dabei nicht vergessen richtig einzustellen).
Bedenke dabei allerdings, das bei mehreren unterschiedlichen Massenspeichern optimale Parameter für die eine Festplatte (HD) nicht unbedingt für eine SSD optimal sein müssen.
Und wenn du von SSD nach HDD oder HDD nach SSD kopierst, kann das auch wiederum anders aussehen.
Nimm in den Reigen noch unterschiedliche USB-Sticks, externe Festplatten sowie über LAN oder WLAN angebunden Server hinzu, und du erhältst eine ganze Matrix von unterschiedlichen optimalen Einstellungen die evtl. notwendig wären.
Ach ja, die allgegenwärtigen Hintergrundprozesse des Betriebssytems sind da auch noch ein zu berücksichtigender Störfaktor.

Du wirst also mit viel Testaufwand (man sollte vielleicht auch noch den Füllstand und die Verteilung der freien Blöcke auf Massenspeichern mit berücksichtigen, sowie die Temperatur einer SSD nach einem Testdurchlauf, oder die Tageslaune deines OnAccess-Virenscanners,...:-)) eine Einstellung finden, die in einem speziellen Fall evtl. 5% schneller ist, aber dafür in vielen anderen Fällen wahrscheinlich auch 5 Prozent langsamer ist.

Soviel kannst du wahrscheinlich in den nächsten Jahren gar nicht kopieren, dass sich dieser Zeitaufwand bezahlt macht.

...nur so meine unmassgebliche Meinung...
Holger
Make our planet great again
User avatar
HolgerK
Power Member
Power Member
Posts: 5406
Joined: 2006-01-26, 22:15 UTC
Location: Europe, Aachen

Re: Kopiermethode für große Dateien

Post by *HolgerK »

HolgerK wrote: 2018-08-10, 12:42 UTC ... eine Einstellung finden, die in einem speziellen Fall evtl. 5% schneller ist, aber dafür in vielen anderen Fällen wahrscheinlich auch 5 Prozent langsamer ist.
Ach ja: und wenn du diese Einstellung gefunden hast, traust du dem Braten nicht so ganz und schaltest zur Sicherheit das Verifizieren beim Kopieren an (und verbrennst damit dann noch mal 30%-50% mehr Zeit).

Gruss
Holger
Make our planet great again
Post Reply