10GbE als static route?

[mekakic]

Hi, ich überlege gerade eine Datenverbindung von einem Rechner zu einem Fileserver als serielle Punkt zu Punkt Verbindung zu installieren. Mir wurden zwei Intel 10GbE Netzwerk für 280€ angeboten (etwa zum halben Preis aber gebraucht).

Ich überlege gerade, da ich auf keinen Fall mit 10GbE Switches anfangen möchte, ob ich soetwas komplett transparent aufgebaut bekomme. Eine direkte Punkt zu Punkt Verbindung via 10GbE zwischen den beiden Rechnern, bei gleichzeitigem Anschluss beider ans normale 1GbE Netzwerk. Das ganze sollte so transparent sein, dass wenn ich auf die IP des Servers (z.B. 10.0.4.100) vom Windows Rechner (PC1) zugreife, automatisch die 10GbE Strecke genommen wird. Wenn ich von einem anderen Rechner im Netzwerk auf den Server zugreife aber nur die 1GbE Strecke. Ist das möglich oder worauf muss ich da achten? Danke!


<Rest>
:
:
--------- ------ --------------
|PC1(Win7)| ..... 1GbE .....|switch| ..... 1GbE .....|FreeBSD Server|
--------- ------ --------------
| |
\........ 10GbE....................................../

[klutob]

Hi, ich überlege gerade eine Datenverbindung von einem Rechner zu einem Fileserver als serielle Punkt zu Punkt Verbindung zu installieren. Mir wurden zwei Intel 10GbE Netzwerk für 280€ angeboten (etwa zum halben Preis aber gebraucht).

Ich überlege gerade, da ich auf keinen Fall mit 10GbE Switches anfangen möchte, ob ich soetwas komplett transparent aufgebaut bekomme. Eine direkte Punkt zu Punkt Verbindung via 10GbE zwischen den beiden Rechnern, bei gleichzeitigem Anschluss beider ans normale 1GbE Netzwerk. Das ganze sollte so transparent sein, dass wenn ich auf die IP des Servers (z.B. 10.0.4.100) vom Windows Rechner (PC1) zugreife, automatisch die 10GbE Strecke genommen wird. Wenn ich von einem anderen Rechner im Netzwerk auf den Server zugreife aber nur die 1GbE Strecke. Ist das möglich oder worauf muss ich da achten? Danke!


<Rest>
:
:
--------- ------ --------------
|PC1(Win7)| ..... 1GbE .....|switch| ..... 1GbE .....|FreeBSD Server|
--------- ------ --------------
| |
\........ 10GbE....................................../

Müsste doch mit einem Subnet für die 10GbE Verbindung problemlos funktionieren?
Welches Protokoll willst du denn benutzen iSCSI, SMB2? Wie skalieren die Protokolle (> /dev/null), kannst einen kleinen Bench machen?

[/dev/NULL]

10G Netzwerkkarte mit nem eigenen Subnetz und die Defaultroute nur auf dem 1GB Link, sollte gehen. Ist bei unseren Servern ähnlich (eigener 10GB Link für Backup) aber da läuft es über Switche.

Interessehalber: Was für Karten sind das? SFP? 10Gig-T? -> Was für nen Kabel nutzt Du da?

Generell wirst über nen kleinen PCIe Slot die Leistung uU nicht ausreizen können, und es kommt natürlich auch auf die Platten (die wenigsten normalen Platten liefern mehr als 100MB/s kontinuierlichen Datenstrom) und Protokoll (Samba ist imho nicht wirklich dafür gemacht 10GB auszunutzen) aber solltest i.d.R. schneller als mit Gigabit sein.

[mekakic]

Danke! Müsste doch mit einem Subnet für die 10GbE Verbindung problemlos funktionieren?
Welches Protokoll willst du denn benutzen iSCSI, SMB2? Wie skalieren die Protokolle (> /dev/null), kannst einen kleinen Bench machen?
Ein Subnet welcher Art? Beim googlen hab ich bei Wikipedia dies gefunden
/30 2 255.255.255.252 4 = 22 "Glue network" (point to point links)

Hauptsächlich wird SMB und NFS genutzt mit vielen größeren sequeniellen Transfers (meistens wegschreiben, seltener lesen). Die Anwendung ist u.a. eben Backups auf den (ZFS) Server wegzuschreiben. Der Server hat 32GB Ram und konnte die meisten Aktion am 1GbE-Limit durch großen Cache via Samba mit 112MB/s über die ganze Zeit über wegschreiben (bei marginaler CPU Last). Interne Test waren deutlich höher solange der im Cache operiert hat (380MB/s hab ich mal gesehen), werde aber mal richtig testen. Die Festplatten schaffen etwa 150MB/s. Prinzipiell reicht auch der status quo... aber da mir gerade die NICs angeboten wurden, war ich von der Idee angefixt.

10G Netzwerkkarte mit nem eigenen Subnetz und die Defaultroute nur auf dem 1GB Link, sollte gehen. Ist bei unseren Servern ähnlich (eigener 10GB Link für Backup) aber da läuft es über Switche.

Interessehalber: Was für Karten sind das? SFP? 10Gig-T? -> Was für nen Kabel nutzt Du da?

Generell wirst über nen kleinen PCIe Slot die Leistung uU nicht ausreizen können, und es kommt natürlich auch auf die Platten (die wenigsten normalen Platten liefern mehr als 100MB/s kontinuierlichen Datenstrom) und Protokoll (Samba ist imho nicht wirklich dafür gemacht 10GB auszunutzen) aber solltest i.d.R. schneller als mit Gigabit sein.
Es würde mir schon reichen wenn ich auf 200MB/s für die meisten Aktion komme, komplett Auslasten werden ich 10GbE auf keinen Fall, weil mir dafür sobald der Cache ausgeht einfach die Festplatten dahinter fehlen.

Und noch besitze ich die Karten nicht, das sollen Intel X540 Modelle (https://www-ssl.intel.com/content/www/us/en/network-adapters/converged-network-adapters/ethernet-x540.html?) sein. Das Thema ist für mich relativ neu, keine Ahnung bisher was da ideal wäre.

[mekakic]

Interne Test waren deutlich höher solange der im Cache operiert hat (380MB/s hab ich mal gesehen), werde aber mal richtig testen.300MB/s kommen hin, eine Samba Messung hatte ich kurz mal für einige GB etwa 500MB/s beim Schreiben gehabt, meistens lag es aber um 300MB/s.

[/dev/NULL]

Du zitierst dich selber um deinen Speed zu kommentieren? Sweet!

Mit den 540-T taugt ja nen normales cat Kabel. Schick.. Wir haben meist die x520 mit SFP+ slots.

Mit subnet: nimm einfach irgendein zweites Netz, welches du nicht sonst im Einsatz hast.
Z.B. Dein LAN hat 192.168.52.x/24 dann nimm 192.168.100.x/24 oder ein beliebiges anderes.. Darf nur nicht in deinem Anderen Netz liegen, damit bei einem cifs Share auf die 10gb Adresse auch zwingend diese Leitung genommen wird.

[Jasch]

Hab so eine System bei mir laufen, mein "Hauptrechner" ist zusätzlich per Infiniband(10Gbe) mit meinem Nas verbunden.
Komme da so auf 300MB/s+ mit SMB2 ,(HDDs limitieren) mit Ramdisk test hab ich auch schon über 700MB/s geschoben.
Das 10 GBE hat einfach nen eigenes Subnet, das reicht und funkt einwandfrei bei mir.
http://abload.de/img/smb2frjbl.jpg