wo liegt der engpass beim datenkopieren?

Fragen rund um die Themen Netzwerk und Technik, die keinem Betriebssystem zuzuordnen sind. Beiträge rund um Hardware gehören auch hier rein (ausser bei Treiber-Fragen, diese dann im jeweiligen Subforum des passenden Betriebssystemes stellen).

wo liegt der engpass beim datenkopieren?

Beitragvon jutta » Fr 05 Apr, 2013 14:45

ich kopiere grad groessere backups quer durchs lan und frage mich, wo der flaschenhals liegt:

szenario: die backup-verzeichnisse in der groesse zwischen 30 und 75 gb werden von einer am server angeschlossenen externen usb-festplatte via lan auf eine an meinem desktop angeschlossene externe usb-festplatte kopiert. dabei kann ich zuschauen, wie es von minute zu minute langsamer geht. am anfang noch ca 30 MB/s, dann 28 ... 12, 10, 8, ...

beide rechner haben gigabit-netzwerkkarten (der switch auch), die externen hdds sind mit usb 2.0 angeschlossen.

wenn ich vom lokalen pc auf die lokal angeschlossene usb-hdd kopiere, liegt die geschwindigkeit anfangs bei etwas ueber 50 MB/s und geht dann auch runter, aber nicht so extrem.

woran liegt es? geschwindigkeit der festplatten? (die wurden nach dem kriterium "leise" gekauft, daher eher langsam) oder usb an beiden enden? oder doch am netzwerk? oder an den ebenfalls nach dem kriterium "leise" gekauften rechnern (thinkcentre M90)?

da ich die hardware hier eh nicht grossartig veraendern kann, ist mein interesse eher theoretischer natur :)
jutta
Administrator
Administrator
 
Beiträge: 30473
Registriert: Do 15 Apr, 2004 10:48
Wohnort: wien

Re: wo liegt der engpass beim datenkopieren?

Beitragvon lordpeng » Fr 05 Apr, 2013 15:34

AV programm hast du deaktiviert? das kann nämlich einen extremen performance schub geben ...
lordpeng
Moderator
Moderator
 
Beiträge: 10183
Registriert: Mo 23 Jun, 2003 22:45

Re: wo liegt der engpass beim datenkopieren?

Beitragvon jutta » Fr 05 Apr, 2013 15:41

hatte ich kurzzeitig gemacht, da sah es nicht nach einem weltbewegenden unterschied aus. (auf dauer trau ich mich nicht, da ich gleichzeitig mails abrufen muss usw)

*eine* bremse duerfte jedenfalls die externe hdd sein (eine nicht mehr ganz taufrische WD passport). die wird jetzt langsam voll (nur mehr weniger als 20 prozent frei) und jetzt geht das kopieren *wirklich* langsam: 4,69 MB/s, 13 Stunden verbleibend =)
vielleicht wuerde defragmentieren helfen, aber das probier ich erst nach dem wochenende.
jutta
Administrator
Administrator
 
Beiträge: 30473
Registriert: Do 15 Apr, 2004 10:48
Wohnort: wien

Re: wo liegt der engpass beim datenkopieren?

Beitragvon pc_net » Fr 05 Apr, 2013 19:01

1.) die bandbreite von usb 2.0 ist nicht so überragend. und gerade die billigen controller der externen datenträger sind üblicherweise auch nicht wirklich für solche aktionen optimiert

2.) wie sind die dateien strukturiert? handelt es sich um viele sehr kleine dateien oder wenige größere? kleine dateien verursachen in der regel einen sehr starken geschwindigkeitseinbruch beim kopieren
No hace falta ser un genio para saber quién dijo eso.

Magenta Gigakraft 250/50
pc_net
Profi-User
Profi-User
 
Beiträge: 1572
Registriert: Fr 29 Aug, 2003 21:21

Re: wo liegt der engpass beim datenkopieren?

Beitragvon jutta » Fr 05 Apr, 2013 19:11

unterschiedlich: der "daten" ordner enhaelt geschaeftsbriefe etc, also eher kleine sachen, aber auch broschueren usw. aber die mehrzahl kleinzeug. der "e-mail" ordner ethaelt zt sehr grosse files, da unser mailprogramm alle mails in einem ordner zusammenfasst. der war am langsamsten, aber das duerfte eben daran gelegen sein, dass die hdd schon ziemlich voll war und die grossen files auf unterschiedliche stellen verteilt werden mussen.

am usb 2.0 wird sich leider in den naechsten jahren nichts aendern. dazu sind die pcs noch zu neu.
jutta
Administrator
Administrator
 
Beiträge: 30473
Registriert: Do 15 Apr, 2004 10:48
Wohnort: wien

Re: wo liegt der engpass beim datenkopieren?

Beitragvon WaJoWi » Sa 06 Apr, 2013 09:27

Es gibt ja auch USB 3.0 Karten um die PCs nach zu rüsten. Aber auch dann wird es bei vielen eher kleinen Dateien keinen großen Unterschied geben. Solche Aktionen lässt man am besten über Nacht laufen. Dann aber die beiden Platten wenn möglich an einem PC anstecken. So braucht man weniger Recourcen. Und wenn es da schneller geht, weiß man dass es auch am Netzwerk liegt - oder eben auch nicht...
Bild

Hardware: Connect Box; UniFi Security Gateway Pro-4; UniFi US-16-150W; UniFi US-8; UniFi AP-AC-LR; UniFi AP-AC-light; ...
WaJoWi
Board-User Level 3
Board-User Level 3
 
Beiträge: 1470
Registriert: Sa 23 Aug, 2003 07:58
Wohnort: Wien

Re: wo liegt der engpass beim datenkopieren?

Beitragvon Viennaboy » Do 11 Apr, 2013 17:21

Bei mir ist es auch so wenn ich Filme von meinen Server (SSD) auf meinen Pc (Raid5 mit Enterprise Platten) kopiere habe ich so ca. 10MB trotzt Gigabit. :x
Viennaboy
Advanced Power-User
Advanced Power-User
 
Beiträge: 3849
Registriert: So 04 Nov, 2007 23:52

Re: wo liegt der engpass beim datenkopieren?

Beitragvon WaJoWi » Fr 12 Apr, 2013 06:43

Viennaboy hat geschrieben:Bei mir ist es auch so wenn ich Filme von meinen Server (SSD) auf meinen Pc (Raid5 mit Enterprise Platten) kopiere habe ich so ca. 10MB trotzt Gigabit. :x


Da kann was nicht passen. Wenn ich große Dateien (z.B. Filme) von einem Rechner (Win 7) mit externer USB 3.0 Platte über einen Switch und einen Router/Switch auf einen anderen Rechner (Linux) mit externer USB 2.0 Platte kopiere, erhalte ich eine recht konstante Geschwindigkeit von 30 MB/s. In umgekehrter Richtung ist es gleich flott. Kabellänge rund 30 Meter.

Von einem Win 8 Rechner mit SSD auf den Win 7 Rechner mit USB 3.0 Platte (beide am Switch mit ~3 Metern Kabel) komme ich auf etwa 60 MB/s.

Also ist USB bzw. die HD jeweils der Flaschenhals bei mir...
Bild

Hardware: Connect Box; UniFi Security Gateway Pro-4; UniFi US-16-150W; UniFi US-8; UniFi AP-AC-LR; UniFi AP-AC-light; ...
WaJoWi
Board-User Level 3
Board-User Level 3
 
Beiträge: 1470
Registriert: Sa 23 Aug, 2003 07:58
Wohnort: Wien

Re: wo liegt der engpass beim datenkopieren?

Beitragvon Viennaboy » Fr 12 Apr, 2013 08:23

Das schlimme ich weis nicht wie ich es genau eingrenzen soll. Was ich einmal anehme ist in der kette irgend ein 100MB Switch aber das es dann trotzdem so lanksam ist?
Viennaboy
Advanced Power-User
Advanced Power-User
 
Beiträge: 3849
Registriert: So 04 Nov, 2007 23:52

Re: wo liegt der engpass beim datenkopieren?

Beitragvon zid » Fr 12 Apr, 2013 10:23

die transferrate hängt auch vom eingesetzten kopierverfahren ab. ein freund mußte unlängst ein paar TB von einem festplattenfeld auf ein andres kopieren und hat bei der gelegenheit verschiedene kopierverfahren verglichen (unter linux).
ergebnis: rsync ist mit ~ 115MBps (mit abstand) am schnellsten (entsprechende hw. natĂĽrlich vorausgesetzt).

lg
zid
zid
Board-User Level 3
Board-User Level 3
 
Beiträge: 1080
Registriert: Fr 23 Jun, 2006 09:08
Wohnort: wien

Re: wo liegt der engpass beim datenkopieren?

Beitragvon WaJoWi » Fr 12 Apr, 2013 16:36

Viennaboy hat geschrieben:Was ich einmal anehme ist in der kette irgend ein 100MB Switch aber das es dann trotzdem so lanksam ist?


Ja klar. Bei einem 100Mb-Netzwerk kommt man real auf etwa 10 MB/s. Wenn also ein Switch, Hub oder Netzwerkkarte nicht mehr kann, dann hilft auch die restliche Hardware nichts. Aufpassen muss man dann auch noch auf die Verkabelung und die verwendeten Dosen! Gerade die Dosen können leicht übersehen werden.

Um irgendwelche Flaschenhälse zwischen den Rechnern ausschließen zu können, wäre es angebracht eine Direktverbindung zu testen. Also nur ein kurzes LAN-Kabel und sonst nichts.
Bild

Hardware: Connect Box; UniFi Security Gateway Pro-4; UniFi US-16-150W; UniFi US-8; UniFi AP-AC-LR; UniFi AP-AC-light; ...
WaJoWi
Board-User Level 3
Board-User Level 3
 
Beiträge: 1470
Registriert: Sa 23 Aug, 2003 07:58
Wohnort: Wien

Re: wo liegt der engpass beim datenkopieren?

Beitragvon Viennaboy » Sa 13 Apr, 2013 09:40

Wenn ich das Wort "Dosen" lese muss ich lachen. :rotfl:
Ich habe mal einen verdacht wer da reinpfuschen könnte. :ok:
Viennaboy
Advanced Power-User
Advanced Power-User
 
Beiträge: 3849
Registriert: So 04 Nov, 2007 23:52

Re: wo liegt der engpass beim datenkopieren?

Beitragvon WaJoWi » Sa 13 Apr, 2013 19:00

Jetzt stehe ich auf der Leitung... :-?
Bild

Hardware: Connect Box; UniFi Security Gateway Pro-4; UniFi US-16-150W; UniFi US-8; UniFi AP-AC-LR; UniFi AP-AC-light; ...
WaJoWi
Board-User Level 3
Board-User Level 3
 
Beiträge: 1470
Registriert: Sa 23 Aug, 2003 07:58
Wohnort: Wien

Re: wo liegt der engpass beim datenkopieren?

Beitragvon rupb » Mo 22 Apr, 2013 06:33

Oft hilft auch die Remoteunterschiedskomprimierung abzuschalten.
Bringt bei mir (gemischtes Netzwerk) sehr viel.

Ist unter Windows Funktionen zu finden.
rupb
Junior Board-Mitglied
Junior Board-Mitglied
 
Beiträge: 53
Registriert: Fr 18 Jun, 2010 18:39

Re: wo liegt der engpass beim datenkopieren?

Beitragvon lordpeng » Mo 22 Apr, 2013 09:27

>Ist unter Windows Funktionen zu finden
vorausgesetzt man verwendet windows vista oder höher ...
lordpeng
Moderator
Moderator
 
Beiträge: 10183
Registriert: Mo 23 Jun, 2003 22:45

Nächste

ZurĂĽck zu TECHNIK, NETZWERK & HARDWARE

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 21 Gäste