Problem gefunden.
Wenn ich ein Netzteil angeschlossen habe ist immer der "Microsoft Wi-Fi Direct Virtual Adapter" bei den Netzwerkadaptern aufgetaucht. Den Adapter habe ich dann mal disabled und im Gerätemanager gelöscht. Die Wi-Fi Direct Funktionalität brauche ich sowieso nicht.
Jetzt ist die Geschwindigkeit mit und ohne Netzteil OK.
Wenn ich mal Lust habe, werde ich mir das mal genauer anschauen was dahinter steckt. Sieht dann doch eher nach Treiberproblemen aus....
PS: Aber danke für alle Hinweise
PPS: Hinweise zum Wi-Fi Direkt, und was das damit zu tun hat, würde ich aber auch noch nehmen ;-)