Windows Server 2019, AMD Epyc, USB3.0 Disconnects

[qiller]

Hallo zusammen,

komme nicht mehr weiter mit meinem Problem, was ich so massiv noch nicht hatte. Und zwar werden an unserem Server (Windows Server 2019, AMD Epyc, Supermicro Board) externe USB3.0 Festplatten immer wieder ausgeworfen. Das äußert sich so, dass man die Platte ganz normal anschließt und manchmal schon kurz nach dem ersten Anschließen einen Disconnect hat und 10 Sekunden später wieder der Reconnect kommt und die Platte wieder da ist.

Meistens passiert aber erstmal gar nichts. Erst wenn ich anfange Dateien draufzukopieren, kann ich sicher sein, dass nach 2-30GB kopierter Daten die Platte mittendrin rausfliegt und der Kopiervorgang abbricht. Dabei spielt es keine Rolle, wie kopiert wird, ob per Explorer, robocopy oder Backup-Software.

Probiert habe ich den Front-USB3 Anschluss sowie die beiden rückseitigen USB3 Anschlüsse. Die USB2.0 Anschlüsse habe ich nicht getestet. Aber selbst wenn es da geht, nützt mir das gar nichts, da es um den einen oder anderen TB an Daten geht, die kopiert werden müssen, da bräucht ich mit USB2.0 mehrere Tage, hilft mir also nicht weiter.

Im Geräte-Manager werden 5 USB3.0 Controller angezeigt: 3 von ASMedia und 2 AMD. Das Supermicro-Board selber hat 2 rückseitige USB3 Anschlüsse, 1 Onboard-USB3-Anschluss und 1 USB3-Header für den Gehäuse-Front-Anschluss (Gehäuse hat aber nur 1 USB3-Anschluss, was mir aber reicht). Ich hatte bis vor kurzem die Standard-Treiber für die USB3.0-Controller drauf, die Windows Update mit ausliefert (es stand auch in Klammern "Microsoft" dahinter). Für den ASMedia-Controller habe ich dann noch einen Hersteller-Treiber von ASMedia getestet, der aber keine Abhilfe brachte. Für den AMD USB3 Controller habe ich keinerlei extra Treiber gefunden. Von Supermicro habe ich noch einen "SP3-IO" Treiber Paket installiert, welches z.B. auch Treiber für den Chipsatz und den PSP beinhält. Hier sind auch USB3 Treiber drin, allerdings sind die für Windows 7 gedacht und wurden vom Setup auch nicht installiert.

Ich weiß leider auch nicht, welcher der Anschlüsse über welchen Controller geht, vlt kennt ja wer nen Tool, was das vernünftig anzeigt. Meine bisherigen Ryzen-Erfahrungen waren eigentlich immer positiv. Die Ryzen-Rechner, die ich sonst zusammengebaut hatte, hatten jedenfalls nicht so ein Problem.

Und nochwas: Diese Stromspar-Optionen in den Energieoptionen und im Gerätemanager, wie sie hier (https://windowsreport.com/fix-windows-8-1-external-hard-drive-keeps-disconnecting/) beschrieben sind, haben nicht geholfen (konnte es allerdings noch nicht nach einem Neustart testen, evt gehts erst danach? :x).

Hat einer noch ne Idee? :F

Edit: Achso ganz vergessen zu erwähnen. Und zwar habe ich eine externe 8TB große USB Seagate Platte, die das Problem nicht hat. Allerdings scheint diese USB-Platte über einen internen Zusatzcontroller zu verfügen, der im Gerätemanager als "Per USB angeschlossenes SCSI (UAS)-Massenspeichergerät" unter Speichercontroller angezeigt wird. Das haben die anderen USB-Platten (3 Intenso getestet) nicht. Aber auch meine Sharkoon RAID-5Bay (die ebenfalls einen internen Controller hat) funktioniert komischerweise nicht. Nur diese Seagate-Platte (angezeigt als "Seagte Desktop SCSI Disk Device") funktioniert.

[SKYNET]

würde mal dreist behaupten, das ist nen board problem, mal den support von supermicro angeschrieben?

[qiller]

Hab mal nen Support Case aufgemacht, bin mir aber nicht sicher, ob da Support geleistet wird, da die Server-Mainboards von Supermicro ja keine Retail-Produkte sind.

Edit: Wenn es da aber nen größeres Hardware-Problem gäbe, dürfte die Seagate Platte ja auch Probleme haben. Eventuell kann ein neues Bios Abhilfe schaffen - hatte zwar beim Einrichten das zu dem Zeitpunkt aktuelle BIOS eingespielt, gibt jetzt aber noch ein neueres. Von USB-Problemen steht aber nix in den Release Notes.

[T86]

Ich hab das Selbe Problem mit meinem am4 System.
Auch Nur bei externen hdds
Mit sämtlichen Treibern, und allen Laufwerken extern nach zu stellen.
Egal ob Front oder am i/o shield
Auch ein Bzw 2 weitere Mainboards das selbe. ( 3x asus x370pro)
Bios Revision auch egal.... ich denke inzwischen amd hat beim usb was verkackt
Oder as-Media (gehört zu asus)

Oder die Kombination mit entsprechenden usb zu Sata Controllern ist problematisch
Besonders auffällig ist es beim kopieren von einem externen Gerät auf das andere

[myMind]

Ich weiß leider auch nicht, welcher der Anschlüsse über welchen Controller geht, vlt kennt ja wer nen Tool, was das vernünftig anzeigt.
USB Device Tree View https://www.uwe-sieber.de/
Durch An- und Abstecken bekommt man heraus, was was ist.

Spannungsversorgung? Evtl. mal USB-Platte / Adapter / Gehäuse mit externer Versorgung probieren?

[qiller]

Thx für den Link, werds mal testen. Die Platten sind alle 3.5" mit externer Versorgung (die auch an anderen Rechnern problemlos funktionieren), daran kanns nicht liegen. Im Support-Case kam jetzt auch nur der Hinweis zum Bios-Update. Das werd ich wohl heute noch machen - von einer USB-Problembehebung steht aber nichts in den Release-Notes.

Übrigens, die externe HDD, die problemlos funktioniert, ist diese hier: https://www.amazon.de/Seagate-Tragbare-TB-Externe-Festplatte/dp/B07CQJBSQL

Die hat glaube ich einen eigenen USB-to-SCSI-Bridge Controller integriert und wird im Gerätemanager auch etwas anders erkannt. Im Gegensatz zu den anderen Platten, gibt es den oberen Teil mit der Entfernungs-Richtlinie, wie es eigt. bei externen HDDs üblich ist. Bei den Intenso-Platten oder der Sharkoon RaidBay fehlt diese Entfernungsrichtlinie. Ka, ob das relevant ist.

[Lokadamus]

Probiert habe ich den Front-USB3 Anschluss sowie die beiden rückseitigen USB3 Anschlüsse. Die USB2.0 Anschlüsse habe ich nicht getestet. Aber selbst wenn es da geht,...Würde ich dennoch testen und gucken, ob es sich genauso verhält.
Sollte es dort fehlerfrei gehen, hilft es zwar nicht wirklich weiter, aber vielleicht kann das im Support Case weiterhelfen.

[qiller]

So, Update auf Bios Version 1.1 durchgeführt und es brachte keine Besserung. USBTree zeigt mir an, dass die rückseitigen USB3-Anschlüsse über den AMD-Controller gehen, und die Front-USB über den ASMedia-Controller. Am Controller direkt kann es also nicht liegen. Beim ASMedia-Controller hatte ich ja sogar schon 2 verschiedene Treiber getestet.

So langsam beschleicht mich das Gefühl, dass es eine Windows Server 2019 (oder in Kombination mit der Hyper-V Rolle?) Geschichte ist. Da der Server schon produktiv läuft, kann ich da nicht einfach maln Ubuntu draufhaun :/.

Ich habe von obiger Seagate Platte noch eine 2. Ich werd wohl erstmal diese dann als externe Außer-Haus Backup-Platte nutzen (eigentlich ist die für was anderes eingeplant :x). Wär natürlich trotzdem schön, wenn man das Problem beheben könnte. USB-Sticks funktionieren übrigens tadellos.

[BeetleatWar1977]

Mal spaßeshalber probiert bei angestecker Platte neu zu booten? Hatte mir mal bei einer geholfen.... Im Betrieb ständig Verbindungsabbrüche, ausser wenn sie beim Einschalten schon dran steckte.....

[qiller]

Ist ein Server, also schwierig mit solchen Test-Boots - wobei ich genau solch ein Szenario mit der Sharkoon RaidBay schon hinter mir hatte (also RaidBay war während des Bootens angeschlossen/angeschalten). Die Platten sind auch nicht das Problem. Die liefen alle schon problemlos an anderen Servern/Rechnern.

PS: Das mit dem USB2.0-Anschluss teste ich morgen, hatte ich heute keine Zeit zu. Bin gerade am Freimachen der 2. Seagate-Platte. Mal gucken ob das heute noch fertig wird mitm kopieren, dann kann ich morgen erstmal die Außer-Haus Sicherung durchführen.

[Joe]

Für mich liest sich das nach dem typischen "AMD hat die Hausaufgaben mal wieder nicht gemacht".
Wir verkaufen schon seit einigen Jahren keine AMD Plattform mehr im Serverberich. Jedes mal die selbe Scheiße mit irgendwelchen Bugs und schwer reproduzierbaren Fehlern gepaart mit Support (damals noch von hp nach dem Motto "hast jan AMD Server gekauft, müsstest eigentlich wissen was kommt lol")

Ich würde als Erstes eine PCIe Karte für USB einbauen. Dann kannst Du ziemlich sicher sagen ob es am Board liegt und hast auch sofort einen Workarround.

[myMind]

Ich würde als Erstes eine PCIe Karte für USB einbauen. Dann kannst Du ziemlich sicher sagen ob es am Board liegt und hast auch sofort einen Workarround.
Du hast aber schon gelesen, dass bereits zwei Chipsets (Asmedia und AMD) Verwendung finden? Beide zufällig mit dem gleichen Problem? Eher unwahrscheinlich.

@qiller Hast Du dir schonmal die 3. und 4. Idee hier https://appuals.com/fix-usb-keeps-connecting-and-disconnecting-on-windows-10/ angeschaut?

[qiller]

Ja, das hatte ich gleich am Anfang in Verdacht - hat aber nix gebracht (steht aber auch im 1. Post). Ich hatte mittlerweile auch nen Neustart gemacht (evt. funktioniert das mit den Energiesparoptionen ja erst nach nem Neustart), auch der half nicht.

Edit: Das mit der USB-Controller Karte wär ne Idee, aber dazu müsst ich den Server komplett abschalten, ausm Rack holen (das Ding ist sauschwer :x), umbauen etc. Ich hab irgendwie immer noch Windows Server 2019 o. die Treiber im Verdacht. Macht zwar kein Sinn, da die Platten unter Windows LTSC 2019/1809 problemlos funktionieren, aber da sind die auch an Intel-Systeme angeschlossen. Aber vlt. krieg ich nen Kumpel mit Ryzen-System überredet mal auf ne Test-SSD Server 2019 zu installieren. Mich wundert auch, dass die Seagate HDD einwandfrei funktioniert. Ich bin mal gespannt, ob die andere Seagate auch problemlos funktioniert. Das ist dann Worst-Case, ext. USB3-Platte auf ext. USB3-Platte.

[qiller]

Im Support Case kam jetzt noch der Hinweis, dass es evt. ein Kontaktproblem mit der CPU gibt, da der AMD-Controller ja direkt in der CPU sitzt. Ich habe jetzt gefragt, warum die Seagate Platte dann problemlos funktioniert und der Front-USB Anschluss (gespeist über den ASMedia-Controller) dasselbe Problem hat. Er schlägt dann auch zum Test mal ein anderes OS vor. Werd ich wohl oder übel nicht drumrum kommen...

[qiller]

So, kopieren von einer Seagate HDD, angeschlossen am rückseitigen USB3.0-Anschluss, zu einer anderen Seagate HDD, angeschlossen am Front-USB3.0-Anschluss, funktioniert ohne Probleme. Extra nochmal die Prüfsumme mit Sha256 überprüft.

[Gast]

wie sind die internen platten angehängt? über n raid controller? das klingt nach nem volllaufen vom cache des controllers

[qiller]

Ist ein SSD-only Server, 1x NVMe, 5x Sata - kein extra Controller. Die Probleme hab ich ja auch, wenn ich von USB zu USB kopieren will. Ist halt blöd, wenn der Server schon produktiv läuft, sonst hätt ich mal nen anderes Windows oder Linux getestet. Glaube nämlich nicht, dass das ein Hardwareproblem ist. Allerhöchstens Firmware.

[Dino-Fossil]

Das hilft dir vermutlich nicht, da ich nichts genaues dazu sagen kann, aber ich hatte kürzlich möglicherweise ein ähnliches Problem auf einem AM4-System (allerdings Ryzen1) auf Arbeit - eine externe USB3-Platte mit externer Stromversorgung hat sich ständig abgemeldet. Hab das Problem dann auf die Platte geschoben. Die gehört nicht zu uns, sondern einem Kooperationspartner, der sich darüber einige Daten kopieren wollte, so dass ich auf die Platte keinen Zugriff habe.

Ist mir vorher noch nie aufgefallen, könnte es also ein Windows-Problem sein, dass erst mit einem jüngeren Patch eingeführt wurde?

[qiller]

Ja, das ist auch so einer meiner Vermutungen. Windows Server 2019 und Windows 10 v1809 haben wohl denselben BS-Kern. Ich habe aber noch keine Aufschreie von Ryzen-/Threadripper-1xxx+Windows 10 v1809 Nutzern gehört. Deswegen bin ich mir auch nicht sicher.

[Birdman]

Schon mal das SP3 Treiberpaket probiert, welches Dell zur Verfügung stellt?

https://www.dell.com/support/home/ch/de/chbsdt1/drivers/driversdetails?driverId=9D99N&osCode=WST14&productCode=oth-r6415
https://www.dell.com/support/home/ch/de/chbsdt1/drivers/driversdetails?driverid=19k1c

Frag mich nicht was hier genau die Unterschiede der Versionen sind (ausser dass eins vom Dez 18 und das andere Feb 19 ist), aber ein Paket ist offenbar 57MB und das andere 184MB gross.

An irgendeinem Strom/Powerplan von Windows liegt es auch nicht? aka passiert das mit der Disk auch, wenn Du alles auf Höchstleistung stellst, bzw. manuell die erweiterten Einstellungen prüftst ob da nicht irgendwas "böses" für USB aktiv ist. (weil es gibt zeugs welches den USB schlafen legt wenn nicht gebraucht)


Btw. ich habe vor ~1 Jahr zuletzt ein Windows auf einem Epyc installiert....meldet sich dieses SP3 Treiberpaket immer noch mit einem grossen und fetten "AMD Radeon" Splashscreen?
War für mich damals irgendwie sehr fishy/verwirrend (hatte mich beim ersten Installationsversuch auch direkt veranlasst die Installation abzubrechen und zu prüfen ob ich auch wirklich das richtige Epyc Chipset Driverpaket runtergeladen hatte.) und sagt imho einiges über die Qualität der Software-Abteilung von AMD aus...

[qiller]

Hab jetzt nochmal die aktuelle Treiber-DVD von Supermicro runtergeladen - gab da tatsächlich nen Update, u.A. wurde das SP3-Paket aktualisiert und der ASMedia USB3-Treiber ist jetzt in der iso mit drin. Ich habe noch Hoffnung! Werde berichten, wenn ich Zeit gefunden habe :>.

Edit: Kann natürlich auch einfach nur der Rome-Kompatibilität geschuldet sein, aber Rome läuft bei uns eh nicht, da Rev 1.1 mit 16MBit Bios. Für Rome wird Rev 2.0 mit 32MBit benötigt. Werd die Treiber trotzdem probieren.

[Gast]

In der aktuellen oder letzten ct stand etwas - da ist ein usb benchmark ausgestiegen und hat disconnects verursacht.
Sie konnten es jedoch im realen Betrieb nicht provozieren.

[qiller]

Ich habe die Treiber mittlerweile aktualisiert (SP3-Package + ASMedia USB3 Treiber), habe aber z.Z. keinen Zugang zu den problematischen USB-Laufwerken. Am Server sind jetzt erstmal die beiden unproblematischen Seagate-HDDs aktiv. Sowie ich eine der anderen USB-HDDs in die Finger kriege, teste ich es nochmal.

[qiller]

Update: Nachdem ich vor ca. einem Monat beim Anstecken meiner 2. externen Sicherungsplatte einen spontanen Reboot unseres Servers hatte (Gottseidank nichts schlimmeres passiert), hab ich jetzt eine USB3-Erweiterungskarte eingebaut, die Front-USB-Buchsen vom Gehäuse dauerhaft abgeklemmt und die Front-USB3-Buchsen des HotSwap-Rahmens an den Header der Erweiterungskarte geklemmt. Der USB3-Header vom Mainboard bleibt also jetzt frei. Bisher läuft es damit. Karte war auch mit ~90€ keine Billigkarte (DeLOCK - USB-Adapter - PCIe 3.0 x4 - USB 3,2 Gen 2 x 3 + USB3.0 (intern)).

Ob die Disconnects mit anderen Platten noch auftreten, konnte ich mangels anderer externer HDDs nicht testen. Ein schneller Patriot USB3-Stick (320/260MB/s Read/Write) lief aber anhieb problemlos.