Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 5: Virtuelle Netze

Ziel: Ein internes Netz ohne Internet bauen, VMs mit zwei Netzwerkkarten starten, feste Adressen vergeben und Ports mit Security Groups sperren. · Dauer: ca. 75 min · Voraussetzung: Tag 4

Briefing

  • Ein Virtual Network (VNet) beschreibt ein Netz: welche Bridge auf dem Host, welcher Treiber und welche Address Ranges (AR), aus denen VMs ihre Adressen bekommen.
  • OpenNebula vergibt Adressen selbst, ohne DHCP. Die IP steht im Kontext (Tag 4), und one-context trägt sie in der VM ein. Jede vergebene Adresse ist ein Lease.
  • Der Treiber fw hängt VMs an eine Linux-Bridge und filtert mit iptables. Die Regeln dafür sind Security Groups: Listen erlaubter Verbindungen. Jedes Netz bekommt standardmäßig die Gruppe default, und die erlaubt alles.
 Host one
 ├─ minionebr 192.168.150.1 ── NAT ── Internet      VNet vnet   (192.168.150.2–51)
 │     ├─ VM a eth0
 │     └─ VM c eth0
 └─ intern0   (keine IP, kein NAT)                  VNet intern (10.10.10.10–29)
       ├─ VM a eth1
       └─ VM b eth0   ← nur über a erreichbar, kein Internet

Drill 1: Das vorhandene Netz

onevnet show vnet | sed -n '/VIRTUAL NETWORK TEMPLATE/,/^$/p'

Erwartet:

VIRTUAL NETWORK TEMPLATE
BRIDGE="minionebr"
BRIDGE_TYPE="linux"
DNS="192.168.150.1"
GATEWAY="192.168.150.1"
OUTER_VLAN_ID=""
PHYDEV=""
SECURITY_GROUPS="0"
VLAN_ID=""
VN_MAD="fw"

GATEWAY und DNS landen im Kontext jeder VM. SECURITY_GROUPS="0" ist die Gruppe default.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Ein internes Netz

Kein Gateway, kein DNS, keine IP auf dem Host. VMs darin sehen nur einander:

mkdir -p ~/one-lab/tag05
cd ~/one-lab/tag05
cat > intern.net <<'EOF'
NAME = "intern"
VN_MAD = "fw"
BRIDGE = "intern0"
AR = [ TYPE = "IP4", IP = "10.10.10.10", SIZE = "20" ]
EOF
onevnet create intern.net
onevnet list

Erwartet:

ID: 1
  ID USER     GROUP    NAME            CLUSTERS   BRIDGE   STATE  LEASES OUTD ERRO
   1 oneadmin oneadmin intern          0          intern0  rdy         0    0    0
   0 oneadmin oneadmin vnet            0          minioneb rdy         0    0    0

Die Bridge intern0 legt OpenNebula an, sobald die erste VM sie braucht.

Zwei VMs: a in beiden Netzen, b nur im internen. --nic ersetzt die Netze des Templates, mehrere Netze trennst du mit Komma:

onetemplate instantiate alpine --name a --user-inputs GRUSS=a --nic vnet,intern
onetemplate instantiate alpine --name b --user-inputs GRUSS=b --nic intern

Nach einer Minute:

onevm show a | grep -E 'ETH[01]_IP='
onevm show b | grep -E 'ETH[01]_IP='

Erwartet (Adressen weichen ab):

  ETH0_IP="192.168.150.13",
  ETH1_IP="10.10.10.12",
  ETH0_IP="10.10.10.11",

Vom Host aus ist b nicht erreichbar, der Host hängt nicht in intern0:

ping -c1 -W2 10.10.10.11 | tail -2

Erwartet:

1 packets transmitted, 0 received, 100% packet loss, time 0ms

Der Weg führt über a. Alpine erlaubt kein Weiterleiten von Verbindungen per SSH (AllowTcpForwarding no), aber den SSH-Agent darfst du mitnehmen. Dann meldet sich a mit deinem Schlüssel bei b an, ohne dass der Schlüssel a je verlässt:

eval $(ssh-agent -s)
ssh-add ~/.ssh/id_ed25519
IP_A=$(onevm show a | grep -o 'ETH0_IP="[0-9.]*' | cut -d'"' -f2)
ssh -A root@$IP_A "ssh -o StrictHostKeyChecking=accept-new [email protected] \
  'hostname; ip route; ping -c1 -W2 1.1.1.1 2>&1 | tail -1'"

Erwartet (gekürzt):

b
10.10.10.0/24 dev eth0 proto kernel scope link src 10.10.10.11
ping: sendto: Network unreachable

b kennt nur sein eigenes Netz. Genau richtig für eine Datenbank (Tag 6).

Fortschritt speichern? Kostenlos registrieren

Drill 3: Feste Adressen

Manche VMs brauchen immer dieselbe IP. Die NIC bekommt sie mit:

onetemplate instantiate alpine --name fest --user-inputs GRUSS=f --nic "vnet:IP=192.168.150.40"
onevm show fest | grep ETH0_IP=

Erwartet (gekürzt):

  ETH0_IP="192.168.150.40",

Adressen, die OpenNebula nie vergeben soll, etwa weil dort ein fremdes Gerät steht, sperrst du mit hold:

onevnet hold vnet 192.168.150.50
onevnet show vnet | sed -n '/^LEASES/,/^VIRTUAL ROUTERS/p' | grep -E 'OWNER|150.40|150.50'

Erwartet:

AR  OWNER                    MAC             IP PORT_FORWARD   IP6
0   V:16       02:00:c0:a8:96:28 192.168.150.40     -     -
0   V:-1       02:00:c0:a8:96:32 192.168.150.50     -     -

V:16 gehört der VM 16, V:-1 ist gesperrt. Wer die gesperrte Adresse verlangt, bekommt Cannot get IP/MAC lease from virtual network 0. onevnet release vnet 192.168.150.50 gibt sie wieder frei.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Security Groups

Eine Gruppe, die nur SSH, Port 8080 und Ping hereinlässt, nach außen aber alles:

cat > web.sg <<'EOF'
NAME = "web"
RULE = [ PROTOCOL = "TCP", RULE_TYPE = "inbound", RANGE = "22,8080" ]
RULE = [ PROTOCOL = "ICMP", RULE_TYPE = "inbound" ]
RULE = [ PROTOCOL = "ALL", RULE_TYPE = "outbound" ]
EOF
onesecgroup create web.sg

Erwartet:

ID: 100

Regeln sind Erlaubnislisten, und die Listen aller Gruppen einer NIC werden zusammengezählt. Solange default (alles erlaubt) dabei ist, nützt web nichts. Also ersetzt web die Gruppe default im Netz vnet:

echo 'SECURITY_GROUPS="100"' > /tmp/sg.txt
onevnet update vnet --append /tmp/sg.txt
onevnet show vnet | grep SECURITY_GROUPS

Erwartet:

SECURITY_GROUPS="100"

Das gilt für NICs, die ab jetzt angelegt werden. Eine neue VM c mit zwei kleinen Diensten auf Port 8080 und 9000:

onetemplate instantiate alpine --name c --user-inputs GRUSS=c

Nach einer Minute:

IP_C=$(onevm show c | grep -o 'ETH0_IP="[0-9.]*' | cut -d'"' -f2)
ssh root@$IP_C \
  "(nc -lk -p 9000 -e echo neun >/dev/null 2>&1 &); (nc -lk -p 8080 -e echo acht >/dev/null 2>&1 &)"

Probe von a aus, einer anderen VM:

ssh root@$IP_A "for p in 22 8080 9000; do \
  if nc -w2 $IP_C \$p </dev/null >/dev/null 2>&1; then echo \"\$p offen\"; else echo \"\$p zu\"; fi; done"

Erwartet:

22 offen
8080 offen
9000 zu

Ausprobiert: Vom Host selbst aus waren alle drei Ports offen. Der Host ist das Gateway des Netzes, seine Pakete laufen nicht über die Bridge, und die Regeln der Security Groups greifen nur dort. Teste Security Groups deshalb immer aus einer anderen VM oder von einem Rechner außerhalb.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

onevnet list

Erwartet: intern und vnet.

onesecgroup list | grep web

Erwartet: 100 mit Namen web.

diff ~/one-lab/tag05/web.sg ~/one-lab/code/loesung/tag05/web.sg

Erwartet: keine Ausgabe.

Challenge

Räum auf: Alle VMs von heute sollen weg, und die gesperrte Adresse wieder frei sein. Was passiert, wenn du eine VM direkt nach dem Anlegen mit terminate --hard löschen willst?

Lösung

onevnet release vnet 192.168.150.50
for v in a b c fest; do onevm terminate --hard $v; done
onevm list

Löschst du eine VM, die gerade startet, meldet OpenNebula:

[one.vm.action] Error performing action "terminate-hard": Could not terminate VM 16, wrong state BOOT.

In PROLOG und BOOT arbeiten gerade Treiber an der VM, und OpenNebula unterbricht sie nicht. Ein paar Sekunden warten, dann geht es. Am Ende:

  ID USER     GROUP    NAME            STAT  CPU     MEM HOST             TIME

Die Netze und die Security Group bleiben, Tag 6 braucht sie.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • VLANs und VXLAN: Im Betrieb trennt man Netze nicht mit lokalen Bridges, sondern mit VN_MAD="802.1Q" (VLAN-Tags auf einer physischen Karte) oder vxlan (Tunnel zwischen Hosts). Dann reicht ein internes Netz über alle Hosts.
  • Virtual Router: Für Netze ohne Ausgang bietet OpenNebula eine Router-Appliance aus dem Marketplace mit NAT, DHCP und Load Balancer. Damit kommt b kontrolliert ins Internet, ohne dass der Host Router spielt.
  • Security Groups pflegen: Die Gruppe default erlaubt alles. In einer Produktions-Cloud ersetzt man sie in jedem Netz durch strengere Gruppen, wie in Drill 4. Ändert sich eine Gruppe, überträgt onesecgroup commit die Regeln auf laufende VMs.