Server
Administration
Remote Zugriff
Geht über Tailscale. Damit muss kein dedizierter Port nach Außen freigegeben werden. Der Hauptserver hat die IP 100.91.45.38 (siehe Obermox)
Zugriff auf die Container/VMs geht auch remote über SSH wenn man den Proxmox Hauptserver als Jumphost verwendet:
ssh -J root@100.91.45.38 root@host
Ebenso kann man Dateien direkt auf die Container/VMs übertragen wenn man den Proxmox Hauptserver als Jumphost verwendet:
scp -rp -J root@100.91.45.38 file root@host:/path
Backups
Täglich um 3:00 werden alle Container und VMs eingefroren, ein Backup gezogen, und wieder aufgetaut. Die Konfiguration des Backups erfolgt in Proxmox. Es kommt Proxmox Backup Server (PBS) zum Einsatz.
Die Backups werden lokal auf der dedizierten 750GB SATA Festplatte im Server gespiegelt.
Remote-Kopien werden zusätzlich täglich um 5:00 remote zu Joel's Server daheim gespiegelt.
DynDNS
Per ddclient wird die IP Adresse des Internet-Anschlusses überwacht, und bei Bedarf der DNS-Eintrag für gmund.oberlab.de aktualisiert. Dieser Eintrag hat eine TTL von 5 Minuten, das wäre die Zeit wo ggf noch die alte IP Adresse vom DNS Server zurückgeliefert würde.
Ein evtl. DynDNS Update seitens der Kabelbox ist davon komplett unabhängig.
Installation / Konfiguration
Die meisten Aufgaben nach der Grundinstallation von Proxmox (mittels ISO Image der Distribution) werden über Ansible-Skripte gesteuert. Sie sind im Gitlab abgelegt.
Die Skripte können ebenfalls eine Grundkonfiguration einzelner Container oder VMs vornehmen.
Ferner sind im Gitlab die Docker Konfigurationsdaten für die verschiedenen Services abgelegt, die in den Container/VMs betrieben werden.
Weitere Anpassungen bleiben unabhängig davon möglich. Man sollte allerdings vermeiden Dateien zu ändern, die von Ansible verwaltet werden - sie werden beim nächsten Lauf zurückgesetzt !
IP Addressen
Bereich 192.168.0.x - routebare Addressen
!!! IP Addressen 192.168.0.10-212 sind für DHCP reserviert, 192.168.0.1-10 für Infrastruktur !!! - siehe Kabelbox
IP | Container | Beschreibung | Im Internet sichtbar |
192.168.0.254 | - | Obermox | |
192.168.0.253 | CT 102 | Caddy | Ja |
192.168.0.252 | |||
192.168.0.251 | VM 104 | MQTT | Ja |
192.168.0.250 | VM 100 | Home Assistant | Ja |
192.168.0.249 | VM 106 | Minecraft | Ja |
192.168.0.248 | VM 112 | Proxmox Backup Server | Nein |
192.168.0.247 | VM_117 | Oberlogin - Keycloak | Ja |
192.168.0.246 | VM_113 | Monitoring | Nein |
192.168.0.245 | VM_115 | Packet Proxy | Nein |
192.168.0.244 | VM_102 | grafana-influx | Ja |
192.168.0.243 | VM_110 | Lama | Nein |
192.168.0.242 | VM_114 | Project-Services (prj-svc) | Ja |
192.168.0.221 | - | Shelly Temperatursensor | Nein |
192.168.0.220 | - | Shelly Türkontakt | Nein |
192.168.0.219 | - | ShellyPlug-05 | Nein |
192.168.0.218 | - | ShellyPlug-04 | Nein |
192.168.0.217 | - | ShellyPlug-03 | Nein |
192.168.0.216 | - | ShellyPlug-02 | Nein |
192.168.0.215 | - | ShellyPlug-01 | Nein |
192.168.0.9 | VM_121 | Paperless Direktzugang | Nein |
Bereich 192.168.168.x - Addressen für interne Dienste
IP | Container | Beschreibung | Im Internet sichtbar (über Caddy) |
192.168.168.1 | - | Obermox | |
192.168.168.2 | CT 102 | Caddy | Ja |
192.168.168.8 | VM_105 | Zamma Hoki | Ja |
192.168.168.10 | VM_118 | Nextcloud | Ja |
192.168.168.11 | VM_119 | Wiki | Ja |
192.168.168.12 | VM_113 | Monitoring | Ja |
192.168.168.13 | VM_120 | Wiki2 | Ja |
192.168.168.14 | VM_121 | Paperless | Ja |
192.168.168.15 | VM_116 | Internal-Services (int-svc) | Ja |
192.168.168.35 | Container 103 - Vaultwarden | Vaultwarden | Ja |
Hardware
Server
DELL Poweredge T320
Bedienungsanleitung
CPU
Intel(R) Xeon(R) CPU E5-2430 0 @ 2.20GHz
6 Kerne, 12 Threads
RAM
36GB :
3x 8GB ECC RAM 10600 9-11-E2 (Micron)
3x 4GB ECC RAM 10600 9-10-E1 (Hynix)
HDD
8-Port SAS RAID Controller + 2-Port SATA Controller
(+ 2 SD Kartenslots... war wohl bei VMWare das Mittel zum Booten, sollte man jetzt nciht mehr benutzen)
Physische Platten
-
Slot 0 : 600GB SAS 15k 2.5" DELL
-
Slot 1 : 600GB SAS 15k 2.5" DELL
-
Slot 2 : 600GB SAS 15k 2.5" DELL
-
Sata0 : 750GB 2.5" Platte
Logische Platten
- RAID5 1.2TB : Platten #0,1,2
- RAID0 120GB : Platte #7
- Standalone 750GB Platte
Netzwerk
2x Gigabit Ports "1" und "2"
LAN auf Port "2"
Port "1" unbenutzt
iDrac - integrated DELL Remote Admin Console
Dedizierter Netzwerk Port
Oberfläche nur über HTTPS verfügbar - mit unbekannten DELL SSL Zertifikat -> Ausnahme im Browser bestätigen
Software
Intro
Auf dem Server läuft die Virtualisierungssoftware Proxmox. Sie basiert auf Debian Linux, und kann sowohl Virtuelle Maschinen (VMs) als auch LXC Container verwalten. Damit lassen sich getrennte Dienste betreiben, und beliebige Test-Umgebungen aufsetzen.
Netzwerk
IP 192.168.0.254/24
Gateway 192.168.0.1
DNS 192.168.0.1
Proxmox Web-Oberfläche
Im Lab : https://192.168.0.254:8006
Über Tailscale : https://100.91.45.38:8006
Tailscale
Tailscale ist eine VPN Lösung um remote auf den Server zugreifen zu können
Der Server hat die IP 100.91.45.38
Nur Mitglieder des Tailscale Rings des Oberlabs und eingeladene Gäste können auf die IP Adresse zugreifen
Proxmox
Login
Erfolgt über Login/Passwort + TOTP (liegen im Vaultwarden)
Netze
vmbr0
Ist mit der Netzwerkschnittstelle eno2 (Port 2 am Case) verbunden.
IP 192.168.0.254/24
vmbr168
Ist eine virtuelle Schnittstelle innerhalb vom Server, für Dienste die keine direkte Verbindung nach Außen haben und somit abgeschottet sind.
IP 192.168.168.1/24
eno1
Nicht verwendet, ist aber vor-konfiguriert
IP 192.168.24.240/24
Storage
local
Root-Filesystem von Proxmox auf dem RAID5 Cluster → /var/lib/vz
ISO-Images und Container-Templates
Backups (über gemountete 750G Festplatte in /etc/fstab - transparent für Proxmox) in /var/lib/vz/dump
local-lvm
LVM-Thin auf dem RAID5-Cluster
Storage für die VMs und Container
storage2
140G Platte aus dem Raid0
Unbenutzt (wird ggf gelöscht/ersetzt)