Mikrotik & OPNSense

[Simon Moon]

Hi

Ich plane gerade meine Infrastruktur etwas umzubauen. Momentan laeuft das Internet ueber einen mikrotik hex s, dieser erhaelt ueber den SFP Port vom Provider direkt via DHCP seine Public IP (ja, das ist wohl etwas ungewoehnlich hab ich im Zusammenhang mit glasfaser und gpon vernommen, aber ich krieg die jedenfalls per dhcp in einem vlan). Nun ist der mikrotik Router sehr vielfaeltig, aber mit OPNSense hab ich dann doch noch andere Moeglichkeiten.

Nun koennte ich natuerlich weiterhin auf dem Mikrotik erstmal alles natten und dann an den OPNSense FW senden, welcher dann evtl nochmal nattet / in ein anderes Netzwerk uebersetzt. Imo irgendwie aber ziemlich unelegant. Meine Idee war es nun, den DHCP-Client (und evtl. DHCP-Server) auf den OPNSense Server zu legen. Damit ersteres klappt, dachte ich nun auf dem mikrotik 2 Bridges einzurichten, eine transparente bridge mit sfp0 und eth0 (an dem der OPNSenseServer haengt) und eine interne management bridge mit eth1 - 4, welche als Switch fuer das interne Netzwerk und zum Zugriff auf den mikrotik Router fungiert.

Das sollte doch nach meinem Verstaendnis funktionieren, dass dann die sfp0 Bridge ohne IP Adresse einfach die Daten von eth0 zu sfp0 und umgekehrt schaufelt und der OPNSense Server dann ungestoert mit dem DHCP-Server des Providers kommunizieren kann?

Oder sollte ich das evtl. eher so loesen, dass getaggte vlan Pakete (wie ich sie vom Provider erhalte) an eth0 weitergeleitet bzw. von eth1 -4 geblockt werden und keine zusaetzliche Bridge aufsetzen?

Oder gar einfach dem OPNSenseServer eine interne IP fuer das WAN Interface zuweisen, ueber dieses ein vlan Interface mit DHCP Client zuweisen und beim microtik Router via ip Firewall alle Pakete im in Interface auf die OPNSense IP redirecten? Da die ja einen vlan Tag haben und redirected werden, sollten die urspruenglichen IPs ja erhalten bleiben und am vlan Interace eintreffen.

Ich hab das gefuehl, irgendwie sollten alle drei Optionen funktionieren, wobei letztere imo eher weniger elegant waere. Aber ich bin mir z.t. auch nicht ganz im klaren darueber, wie sich dass dann auf die Nutzbarkeit einiger Features beim mikrotik auswirken wuerde, wenn der gar keine externe IP mehr haette. Waere es dann z.b. moeglich ein externes Netwerk via VPN (wg, ipsec...) dran zu haengen? Funktioniert das mikrotik dyndns noch? Klar koennte ich praktisch alles auf den OPNSense Server verlegen, fuer manche einfache Serviceses reicht aber der mikrotik ja durchaus (wobei ich da jetzt auch noch etwas Muehe habe abzuschaetzen, welcher Service nun auf welchem Geraet besser aufgehoben ist).

Am Ende jedenfalls soll der OPNSense Server jedenfalls DHCP-Client fuers WAN sein, die TLS Zertifikate bzw. https Verbindungen der extern erreichbaren Serviceses handeln und diese an via nginx reverse Proxy intern weiterleiten, sowie natuerlich als gateway fuer die internen clients fungieren. Der Mikrotik fungiert dabei als Medienkonverter (sfp0 - eth0), sowie als Switch fuer das interne Netzwerk (eth1-4).

Wie ich die restlichen Aufgaben verteile, muss ich mir dann noch ueberlegen ^^

Edit: Okay, mal schauen ob das was wird. Momentan scheiterts schon dran OPNSense auf der alten Kiste zu installieren. Die Images verwenden alle offenbar GPT und das BIOS auf dem PC versteht wohl nur MBR - zumindest bootet er ein Archimage mit MBR, OPNSense mit GPT aber nicht... und ich seh grad auch nicht, wie ich das mit fdisk anpassen kann bzw. ob dann wieder nicht bsd probs macht... argh...

[FeuerHoden]

Auf welcher Hardware willst du genau OPNSense installieren.
Die Hardware Anforderungen von OPNSense sind überaschend hoch.

Hierauf konnte ichs erfolgreich installieren:
https://www.ebay.at/itm/204027759135?hash=item2f81008a1f:g:ZO0AAOSw5uJixDqL&amdata=enc%3AAQAHAAAA4DH3a66PKaLm%2BKzC%2Fa5Yr%2F74bSUZPjQcOb27bO4c0e2JpRwxMS2jC HpBpq7d0oGmOQooU7DAZZPwRdPgn8ea1HodLznm%2B%2BDi7U0%2Bc4Job1DdtcAvaCMgUNwdytV269L RsNQhsAIW3fuqqi9EcruTT7OFU%2FZJoGU%2B2hdnxMeqAhmRcdxClWPRbchpKAsgMzZsVYYCigRpMO% 2Fw9nwUZF1YmB6L0jPx%2FhPBEao786fLmT3B8uCgUIScwpqUjzW4NAHcbdvp70iIYRmuKjVrz9RlBip cKKAZU2boDizGYhLGqXAq%7Ctkp%3ABFBMyKrbodJg

Ich bin mir nicht sicher ob man eth und sfp bridgen kann.

Bei mir plane ich auf einem Mini PC mit 2 Ethernet Ports eine FW zu virtualisieren. Alles weitere dann mit VLANs auf einem Switch.
Bei mir mache ist aber immer alles genattet. Die FW direkt ungefiltert am Netz hängen zu haben, wäre mir zu heikel. Von außen rein komme ich sowieso nur per VPN.

[Simon Moon]

Auf welcher Hardware willst du genau OPNSense installieren.
Die Hardware Anforderungen von OPNSense sind überaschend hoch.


Ich bin mir nicht sicher ob man eth und sfp bridgen kann.

Bei mir plane ich auf einem Mini PC mit 2 Ethernet Ports eine FW zu virtualisieren. Alles weitere dann mit VLANs auf einem Switch.
Bei mir mache ist aber immer alles genattet. Die FW direkt ungefiltert am Netz hängen zu haben, wäre mir zu heikel. Von außen rein komme ich sowieso nur per VPN.

Geplant war auf einem aelteren Core2Quad Q9550, die Leistung ist nicht das Problem, denn in einer VM lief es auf dem PC. Und eine andere Instanz habe ich seit einer paar Tagen lokal auf einer VM installiert und dahinter noch ein paar VMs gebridget, die kommen nur ueber OPNsense raus. Wobei der effektive LAN Port gegen aussen dann in drei Macvtap gesplittet ist - einer fuer den Host und einen externen WAN, sowie LAN Port fuer OPNsense.

rj45 auf sfp sellt erstmal auch kein Problem dar. Das ist ja nur der physische Layer, was dann beim MAC ankommt sind die gleichen Ethernerpakete. Wenn aber nur geswitcht wird, sollte man halt darauf achten, dass die MTU und der Datendurchsatz stimmen.

Im Prinzip wuerde es da wohl auch gehen, wenn ich vom Mikrotik den sfp-wan direkt ueber ether0 zu dem einen rj45 meines PCs auf die VM und deren macvtap-wan und dann wieder zurueck auf denselben rj45 nur diesmal eben das macvtap-lan (oder natuerlich auch auf die intern gebridgeten VMs) zurueck zum Mikrotik ether0 wo es ueber die restlichen ether ports geswitcht wird. Muesste da nur zwei point to point interfaces drueber klatschen. Das wird dann halt nur irgendwann etwas komplex, werd wohl bis auf weiteres einfach die relevanten Ports dstnatten.

Und ueber die Sicherheit mach ich mir da jetzt auch nur bedingt sorgen. Der Verkehr im LAN laeuft ja sowieso verschluesselt ab und jeder phyisische PC kriegt seine statischen nftables. Der Router filtert da ja nur das groebste raus und NAT ist auch kein Sicherheitsfeature, dafuer ist ja so oder so die FW da. Die soll dann gegen aussen die TLS Verschluesselung machen, den einkommenden Traffic entschluesseln, durch das IDS jagen und dem reversproxy geben. Der fragt den Webserver an, welcher mit den internen TLS Zertifikaten arbeitet.

Mein Problem ist weniger die Frage ob es funktioniert, sondern was sinnvoll ist. Der Paketfluss im Router ist fuer mich einfach zu komplex, als das ich das Gefuehl habe alle Vor und Nachteile abschaetzen zu konnen, selbst wenn ich einen Weg sehe
https://abload.de/img/screenshot2022-08-12a8gefg.png

[FeuerHoden]

Oder sollte ich das evtl. eher so loesen, dass getaggte vlan Pakete (wie ich sie vom Provider erhalte) an eth0 weitergeleitet bzw. von eth1 -4 geblockt werden und keine zusaetzliche Bridge aufsetzen?

Das klingt für mich nach der einfachsten Lösung, bzw. würde ich mich im ersten Schritt für die Lösung entscheiden die ich selbst am besten verstehe.

Willst du dass es zuverlässig funktioniert, oder willst du was dabei lernen?

[Simon Moon]

Das klingt für mich nach der einfachsten Lösung, bzw. würde ich mich im ersten Schritt für die Lösung entscheiden die ich selbst am besten verstehe.

Willst du dass es zuverlässig funktioniert, oder willst du was dabei lernen?

Mir gehts dabei vor allem ums lernen. Gibt da immer wieder neues zu entdecken.