AI bleibt im Haus — die GPU im Hypervisor: selbst gehostete AI mit Proxmox VE
Wie croit sein eigenes LLM-Gateway auf eigener Hardware betreibt, GPU per PCI-Passthrough direkt in eine VM durchgereicht, Proxmox VE als Hypervisor. IOMMU, vfio, die üblichen Stolpersteine und ein ehrlicher Blick auf vGPU als Alternative.
Redner
-
Alwin Antreichcroit GmbHAlwin Antreich ist seit 2021 bei der croit GmbH. Davor war er als Softwareentwickler bei der Proxmox Server Solutions GmbH tätig. Er ist Trainer, hält Vorträge auf verschiedenen Konferenzen und kann auf über 18 Jahre IT-Erfahrung zurückblicken. Sein Fokus liegt auf Speichertechnologien und Virtualisierung.