我が家も最近、ADSLから光回線に変えたのですが、光回線の爆速には正直驚きました。今やIPoE + IPv4 over IPv6の設定は標準みたいですね。主さんもLANケーブルを高スペックのものに変えたり、ONU+Wifiルーターの見直しなどをすればさらにスピードが早くなるような気がします。320Mbps程度なら有線でなくWifiでも出せる速度だと思いました。(受け側のPCの能力にもよると思いますけど・・・)
Mtuの値を変えればもっと行けると思いますよ、OSのデフォルトでは1500なんですけど1400にするといいです。 やり方は一旦ルーターにつながってる有線接続以外のWifiドングルなど全部外してから コマンドプロンプトを管理者権限で立ち上げてNetsh interface ip show interface で一覧がでるので、loopbackじゃない機器の方の番号をみて Netsh interface ip set interface 調べた番号 MTU = 1400で変えられます これをするだけで結構変わると思うのでやってみてください。