Tag 5: Virtuelle Netze
Ziel: Ein internes Netz ohne Internet bauen, VMs mit zwei Netzwerkkarten starten, feste Adressen vergeben und Ports mit Security Groups sperren. · Dauer: ca. 75 min · Voraussetzung: Tag 4
Briefing
- Ein Virtual Network (VNet) beschreibt ein Netz: welche Bridge auf dem Host, welcher Treiber und welche Address Ranges (AR), aus denen VMs ihre Adressen bekommen.
- OpenNebula vergibt Adressen selbst, ohne DHCP. Die IP steht im Kontext (Tag 4), und one-context trägt sie in der VM ein. Jede vergebene Adresse ist ein Lease.
- Der Treiber
fwhängt VMs an eine Linux-Bridge und filtert mit iptables. Die Regeln dafür sind Security Groups: Listen erlaubter Verbindungen. Jedes Netz bekommt standardmäßig die Gruppedefault, und die erlaubt alles.
Host one
├─ minionebr 192.168.150.1 ── NAT ── Internet VNet vnet (192.168.150.2–51)
│ ├─ VM a eth0
│ └─ VM c eth0
└─ intern0 (keine IP, kein NAT) VNet intern (10.10.10.10–29)
├─ VM a eth1
└─ VM b eth0 ← nur über a erreichbar, kein Internet
Drill 1: Das vorhandene Netz
onevnet show vnet | sed -n '/VIRTUAL NETWORK TEMPLATE/,/^$/p'Erwartet:
VIRTUAL NETWORK TEMPLATE
BRIDGE="minionebr"
BRIDGE_TYPE="linux"
DNS="192.168.150.1"
GATEWAY="192.168.150.1"
OUTER_VLAN_ID=""
PHYDEV=""
SECURITY_GROUPS="0"
VLAN_ID=""
VN_MAD="fw"
GATEWAY und DNS landen im Kontext jeder VM.
SECURITY_GROUPS="0" ist die Gruppe
default.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Ein internes Netz
Kein Gateway, kein DNS, keine IP auf dem Host. VMs darin sehen nur einander:
mkdir -p ~/one-lab/tag05
cd ~/one-lab/tag05
cat > intern.net <<'EOF'
NAME = "intern"
VN_MAD = "fw"
BRIDGE = "intern0"
AR = [ TYPE = "IP4", IP = "10.10.10.10", SIZE = "20" ]
EOF
onevnet create intern.net
onevnet listErwartet:
ID: 1
ID USER GROUP NAME CLUSTERS BRIDGE STATE LEASES OUTD ERRO
1 oneadmin oneadmin intern 0 intern0 rdy 0 0 0
0 oneadmin oneadmin vnet 0 minioneb rdy 0 0 0
Die Bridge intern0 legt OpenNebula an, sobald die erste
VM sie braucht.
Zwei VMs: a in beiden Netzen, b nur im
internen. --nic ersetzt die Netze des Templates, mehrere
Netze trennst du mit Komma:
onetemplate instantiate alpine --name a --user-inputs GRUSS=a --nic vnet,intern
onetemplate instantiate alpine --name b --user-inputs GRUSS=b --nic internNach einer Minute:
onevm show a | grep -E 'ETH[01]_IP='
onevm show b | grep -E 'ETH[01]_IP='Erwartet (Adressen weichen ab):
ETH0_IP="192.168.150.13",
ETH1_IP="10.10.10.12",
ETH0_IP="10.10.10.11",
Vom Host aus ist b nicht erreichbar, der Host hängt
nicht in intern0:
ping -c1 -W2 10.10.10.11 | tail -2Erwartet:
1 packets transmitted, 0 received, 100% packet loss, time 0ms
Der Weg führt über a. Alpine erlaubt kein Weiterleiten
von Verbindungen per SSH (AllowTcpForwarding no), aber den
SSH-Agent darfst du mitnehmen. Dann meldet sich a mit
deinem Schlüssel bei b an, ohne dass der Schlüssel
a je verlässt:
eval $(ssh-agent -s)
ssh-add ~/.ssh/id_ed25519
IP_A=$(onevm show a | grep -o 'ETH0_IP="[0-9.]*' | cut -d'"' -f2)
ssh -A root@$IP_A "ssh -o StrictHostKeyChecking=accept-new [email protected] \
'hostname; ip route; ping -c1 -W2 1.1.1.1 2>&1 | tail -1'"Erwartet (gekürzt):
b
10.10.10.0/24 dev eth0 proto kernel scope link src 10.10.10.11
ping: sendto: Network unreachable
b kennt nur sein eigenes Netz. Genau richtig für eine
Datenbank (Tag 6).
Fortschritt speichern? Kostenlos registrieren
Drill 3: Feste Adressen
Manche VMs brauchen immer dieselbe IP. Die NIC bekommt sie mit:
onetemplate instantiate alpine --name fest --user-inputs GRUSS=f --nic "vnet:IP=192.168.150.40"
onevm show fest | grep ETH0_IP=Erwartet (gekürzt):
ETH0_IP="192.168.150.40",
Adressen, die OpenNebula nie vergeben soll, etwa weil dort ein
fremdes Gerät steht, sperrst du mit hold:
onevnet hold vnet 192.168.150.50
onevnet show vnet | sed -n '/^LEASES/,/^VIRTUAL ROUTERS/p' | grep -E 'OWNER|150.40|150.50'Erwartet:
AR OWNER MAC IP PORT_FORWARD IP6
0 V:16 02:00:c0:a8:96:28 192.168.150.40 - -
0 V:-1 02:00:c0:a8:96:32 192.168.150.50 - -
V:16 gehört der VM 16, V:-1 ist gesperrt.
Wer die gesperrte Adresse verlangt, bekommt
Cannot get IP/MAC lease from virtual network 0.
onevnet release vnet 192.168.150.50 gibt sie wieder
frei.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Security Groups
Eine Gruppe, die nur SSH, Port 8080 und Ping hereinlässt, nach außen aber alles:
cat > web.sg <<'EOF'
NAME = "web"
RULE = [ PROTOCOL = "TCP", RULE_TYPE = "inbound", RANGE = "22,8080" ]
RULE = [ PROTOCOL = "ICMP", RULE_TYPE = "inbound" ]
RULE = [ PROTOCOL = "ALL", RULE_TYPE = "outbound" ]
EOF
onesecgroup create web.sgErwartet:
ID: 100
Regeln sind Erlaubnislisten, und die Listen aller
Gruppen einer NIC werden zusammengezählt. Solange default
(alles erlaubt) dabei ist, nützt web nichts. Also ersetzt
web die Gruppe default im Netz
vnet:
echo 'SECURITY_GROUPS="100"' > /tmp/sg.txt
onevnet update vnet --append /tmp/sg.txt
onevnet show vnet | grep SECURITY_GROUPSErwartet:
SECURITY_GROUPS="100"
Das gilt für NICs, die ab jetzt angelegt werden. Eine neue VM
c mit zwei kleinen Diensten auf Port 8080 und 9000:
onetemplate instantiate alpine --name c --user-inputs GRUSS=cNach einer Minute:
IP_C=$(onevm show c | grep -o 'ETH0_IP="[0-9.]*' | cut -d'"' -f2)
ssh root@$IP_C \
"(nc -lk -p 9000 -e echo neun >/dev/null 2>&1 &); (nc -lk -p 8080 -e echo acht >/dev/null 2>&1 &)"Probe von a aus, einer anderen VM:
ssh root@$IP_A "for p in 22 8080 9000; do \
if nc -w2 $IP_C \$p </dev/null >/dev/null 2>&1; then echo \"\$p offen\"; else echo \"\$p zu\"; fi; done"Erwartet:
22 offen
8080 offen
9000 zu
Ausprobiert: Vom Host selbst aus waren alle drei Ports offen. Der Host ist das Gateway des Netzes, seine Pakete laufen nicht über die Bridge, und die Regeln der Security Groups greifen nur dort. Teste Security Groups deshalb immer aus einer anderen VM oder von einem Rechner außerhalb.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
onevnet listErwartet: intern und vnet.
onesecgroup list | grep webErwartet: 100 mit Namen web.
diff ~/one-lab/tag05/web.sg ~/one-lab/code/loesung/tag05/web.sgErwartet: keine Ausgabe.
Challenge
Räum auf: Alle VMs von heute sollen weg, und die gesperrte Adresse
wieder frei sein. Was passiert, wenn du eine VM direkt nach dem Anlegen
mit terminate --hard löschen willst?
Lösung
onevnet release vnet 192.168.150.50
for v in a b c fest; do onevm terminate --hard $v; done
onevm listLöschst du eine VM, die gerade startet, meldet OpenNebula:
[one.vm.action] Error performing action "terminate-hard": Could not terminate VM 16, wrong state BOOT.
In PROLOG und BOOT arbeiten gerade Treiber
an der VM, und OpenNebula unterbricht sie nicht. Ein paar Sekunden
warten, dann geht es. Am Ende:
ID USER GROUP NAME STAT CPU MEM HOST TIME
Die Netze und die Security Group bleiben, Tag 6 braucht sie.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- VLANs und VXLAN: Im Betrieb trennt man Netze nicht
mit lokalen Bridges, sondern mit
VN_MAD="802.1Q"(VLAN-Tags auf einer physischen Karte) odervxlan(Tunnel zwischen Hosts). Dann reicht ein internes Netz über alle Hosts. - Virtual Router: Für Netze ohne Ausgang bietet
OpenNebula eine Router-Appliance aus dem Marketplace mit NAT, DHCP und
Load Balancer. Damit kommt
bkontrolliert ins Internet, ohne dass der Host Router spielt. - Security Groups pflegen: Die Gruppe
defaulterlaubt alles. In einer Produktions-Cloud ersetzt man sie in jedem Netz durch strengere Gruppen, wie in Drill 4. Ändert sich eine Gruppe, überträgtonesecgroup commitdie Regeln auf laufende VMs.