CODLAB / Blog · Software & Entwicklung

CardinalHost unter Linux Wayland: PipeWire, /dev/uinput, hybrider H.264-Transport und warum Frame-Abstände keine Latenz messen

15 Nov 2026 CODLAB Team 11 min

Stand November 2026: CardinalHost (derzeit vor dem Marktstart auf cardinalhost.org dokumentiert) löst Fernwartung unter Linux Wayland ohne X11-Rückfall über xdg-desktop-portal, PipeWire und /dev/uinput. Der Videostrom startet als H.264-Annex-B im SSH-Tunnel, wechselt optional nach drei vollständigen Frames auf ChaCha20-Poly1305-gesichertes UDP und trennt in der Messtechnik strikt zwischen passiven Frame-Abständen auf ruhenden Desktops und aktiver Eingabe-zu-Pixel-Latenz, deren Messreihen noch ausstehen.

Warum Wayland klassische Fernwartungsannahmen bricht

Unter X11 basierten Fernwartungswerkzeuge jahrzehntelang auf einer impliziten globalen Vertrauensannahme: Jeder Prozess mit Zugriff auf das Display-Socket und das passende Cookie durfte den gesamten Bildschirminhalt auslesen und über die XTest-Erweiterung künstliche Maus- sowie Tastaturereignisse in fremde Anwendungsfenster einspeisen. Für isolierte Arbeitsplätze war dieses Modell bequem, sicherheitstechnisch jedoch ein strukturelles Risiko, weil keine saubere Trennung zwischen normalem Anwendungsprozess und privilegierter Sitzungssteuerung existierte.

Moderne Linux-Desktops unter Wayland kehren dieses Prinzip um. Der Compositor isoliert Fensteroberflächen pro Client; weder das Mitlesen fremder Pixelpuffer noch das Injizieren globaler Eingaben ist ohne explizite Vermittlung vorgesehen. Viele bestehende Werkzeuge reagieren darauf noch immer mit Behelfslösungen: Sie verlangen vor Sitzungsbeginn den Wechsel auf eine veraltete Xorg-Sitzung, scheitern mit schwarzem Bild oder brechen ab, sobald der Benutzer nur die Ansicht, nicht aber die Eingabesteuerung freigibt.

In unserer Forschungs- und Entwicklungsarbeit an CardinalHost im Forschungsbereich unserer Projektübersicht haben wir uns gegen solche Umwege entschieden. Als Teil der Cardinal-Produktfamilie behandelt CardinalHost Wayland als primäre Zielarchitektur und bildet die Sicherheitsgrenzen des Desktops explizit im Sitzungsprotokoll ab.

Zwei getrennte Linux-Pfade statt einer unscharfen Mischlösung

Eine zentrale Architekturentscheidung in CardinalHost besteht darin, zwei grundverschiedene Betriebsszenarien nicht in denselben Vertrauenspfad zu pressen. Die unüberwachte Verwaltung eigener Server stellt völlig andere Anforderungen an Authentifizierung und Sichtbarkeit als die zeitlich begrenzte Unterstützung einer anderen Person an deren Arbeitsplatzrechner.

Merkmal Pfad A: ServerMount Agent (eigene Systeme) Pfad B: Öffentliche Assistenz-Engine (begleitete Fernwartung)
Einsatzzweck Administration eigener Linux-Rechner und Arbeitsstationen durch den Eigentümer Zeitlich begrenzte Unterstützung auf dem Arbeitsplatz einer anderen Person
Start- und Installationsort Bedarfsgesteuerter Start über bestehendes SSH aus ~/.local/bin Dedizierte Systeminstallation (pubblico-linux.sh) mit fest gebundenem Startpfad
SSH-Schlüsselbindung Regulärer administrativer SSH-Zugang des Systemverantwortlichen Eigener Schlüssel mit striktem ForceCommand ohne freie Interaktiv-Shell
Sichtbarkeit & Kontrolle Keine zusätzlichen offenen Ports außerhalb von SSH; kein Cloud-Konto oder externes Relay Grafischer Zustimmungsdialog, sichtbarer Tray-Indikator und sofortiger Widerruf

Auf Pfad A startet die Client-Anwendung den Agenten direkt über die bestehende SSH-Verbindung: Es laufen keine dauerhaften Hintergrunddienste mit eigenen Netzwerkports, und im reinen SSH-Betrieb wird kein externer Vermittlungsdienst benötigt (wird optional STUN für direktes UDP konfiguriert, sieht der gewählte STUN-Server gemäß RFC 5389 die öffentliche reflexive Endpunktadresse). Auf Pfad B hingegen schützt das System die unterstützte Person vor stillen Zugriffen: Der hinterlegte SSH-Schlüssel ist über ForceCommand ausschließlich an den Assistenzprozess gebunden, jede Sitzung erfordert eine aktive Bestätigung im grafischen Dialog, ein Statussymbol im Systemabschnitt zeigt die laufende Übertragung an, und ein einziger Klick beendet sowohl Bildstrom als auch Eingaberechte unmittelbar.

Bildaufnahme über PipeWire und Eingabe über /dev/uinput

Technisch gliedert sich eine Wayland-Sitzung in CardinalHost in drei klar abgegrenzte Schichten: die Portal-Aushandlung über D-Bus, den Videodatenpfad über PipeWire und den Eingabepfad über Portal-Events beziehungsweise /dev/uinput.

  • Portal-Sitzungsaushandlung: Über org.freedesktop.portal.ScreenCast und org.freedesktop.portal.RemoteDesktop fordert der Agent beim Desktop-Portal des Benutzers Zugriff auf Bildquelle und Eingabegeräte an. Die Auswahl des Monitors oder Fensters verbleibt beim lokalen Benutzer und dem Compositor.
  • Übergabe an die H.264-Pipeline und ehrlicher Stand der Farbraumkonvertierung: Das Portal übergibt einen PipeWire-Node-Deskriptor, aus dem unsere GStreamer-Pipeline über pipewiresrc einen H.264-Annex-B-Strom mit SPS/PPS vor relevanten Einstiegspunkten erzeugt. Im am 15. August 2026 am ServerMount Agent (Pfad A) gemessenen Stand kamen die Frames im Systemspeicher an, durchliefen zwei Konvertierungen nacheinander (videoconvert in Software und anschließend vapostproc) und belegten selbst auf ruhendem Bildschirm rund 50 % eines CPU-Kerns; seit dem 15. September 2026 (Baustein P3) handelt die öffentliche Assistenz-Engine (Pfad B) einen direkten DMA-BUF-zu-VA-API-Pfad mit automatischem Systemspeicher-Rückfall aus (in GStreamer-Prüfbänken auf seine Pipeline-Struktur verifiziert, auf realer VA-Hardware jedoch noch nicht vermessen), während der ServerMount Agent weiterhin in Software konvertiert.
  • Deterministischer Rückfall auf Nur-Ansicht: Verweigert das Desktop-Portal die Eingabesteuerung oder steht /dev/uinput mangels Gruppen- oder Geräterechten nicht bereit, bricht CardinalHost die Verbindung nicht ab und verharrt nicht in einem inkonsistenten Zustand. Der Agent signalisiert den Zustand im Sitzungshandshake und schaltet sauber in den Nur-Ansicht-Modus (View-Only). Das Diagnosebild bleibt sofort nutzbar, während die Benutzeroberfläche den fehlenden Eingabekanal transparent kennzeichnet.

Ehrlicher Stand der Plattformabdeckung: Vollständig Ende-zu-Ende im Feld erprobt — einschließlich Bildaufnahme, Zeigerbewegung, Tastatureingabe und sauberem View-Only-Rückfall — ist dieser Pfad aktuell auf Fedora 45 mit GNOME 51. Die Unterstützung für KDE Plasma, wlroots-basierte Compositoren (Sway, Hyprland) sowie Paket- und Portalprofile unter Ubuntu/Debian und Arch Linux befindet sich in aktiver Entwicklung und wird erst nach reproduzierbaren Systemtests als unterstützt ausgewiesen.

Hybrider Videotransport: SSH als sichere Basis, authentifiziertes UDP bei Bedarf

Ein klassischer Zielkonflikt der Fernwartung liegt in der Wahl des Transportprotokolls. Ein reiner TCP-Tunnel über SSH funktioniert nahezu hinter jeder Unternehmens-Firewall sofort, kann aber bei Paketverlusten im Weitverkehrsnetz unter TCP-Head-of-Line-Blocking leiden: Ein einziges verlorenes Segment verzögert die Auslieferung nachfolgender, bereits eingetroffener Videopakete an den Decoder. Reines UDP wiederum vermeidet diesen Stau, scheitert jedoch häufig an restriktiven NAT-Gateways oder erfordert komplexe Infrastruktur.

CardinalHost kombiniert beide Welten in einem zweistufigen Transportmodell (derzeit ausschließlich für den Pfad .agenteLinux umgesetzt; die öffentliche Assistenz-Engine auf Pfad B verbleibt im SSH-Tunnel):

  1. Sofortiger Sitzungsstart im SSH-Kanal: Jede Sitzung beginnt ohne Verzögerung mit dem H.264-Annex-B-Strom innerhalb des bestehenden, verschlüsselten SSH-Tunnels. Damit ist die Grundfunktion unabhängig von UDP-Freigaben gesichert.
  2. Endpunktermittlung über RFC 5389 STUN und SEI-Signalisierung: Ist ein STUN-Server konfiguriert, ermitteln die Endpunkte parallel zum laufenden Bildstrom ihre öffentliche reflexive Adresse über standardkonforme STUN-Binding-Requests (RFC 5389, MAGIC_COOKIE = 0x2112A442, Auswertung von XOR-MAPPED-ADDRESS). Die Parameter werden über stdin des SSH-Prozesses sowie eingebettete H.264-SEI-Nachrichten vom Typ user_data_unregistered ausgetauscht.
  3. Kryptografisch gebundene UDP-Probes: Bevor Videoverkehr umgeschaltet wird, überträgt der Client einen zufälligen 32-Byte-Schlüssel samt Sitzungs-ID über den bestehenden SSH-Kanal; anschließend tauschen Client und Agent mit ChaCha20-Poly1305 authentifizierte Prüf-Pakete aus. Unauthentifizierte Pakete werden verworfen.
  4. Drei-Frame-Schranke und Intervall Bestätigung → erstes Vollbild: Ein einzelnes kleines UDP-Paket beweist noch keinen tragfähigen Videopfad über die Pfad-MTU hinweg. CardinalHost wechselt erst nach drei aufeinanderfolgenden vollständigen UDP-Videobildern auf direktes UDP: Der Agent fordert bereits vor dem Senden der Promotionsbestätigung ein IDR-Schlüsselbild an, und der Client verwirft die drei Probe-Frames, um den Decoder erst ab der Bestätigung zu speisen. In sieben alternierenden Prüfläufen am 15. August 2026 (prova-collegamento-diretto.py auf Ubuntu 26.04 GNOME im Pfad .agenteLinux) lag die Zeitspanne von der Promotionsbestätigung bis zum ersten vollständig ausgelieferten Schlüsselbild zwischen 0,78 s und 1,50 s bei einer Prüfschwelle von 2,0 s — ein Maß für den Wiederanlauf ab Bestätigung, nicht für die gesamte Aushandlungsdauer oder die wahrgenommene Eingabelatenz.
  5. Heartbeat alle 200 ms und 900-ms-Rückfallschwelle: Während des UDP-Betriebs senden beide Seiten alle 200 ms authentifizierte Heartbeats. Bleiben gültige UDP-Pakete länger als 900 ms aus, hält der Client das letzte Bild auf dem Schirm, wählt wieder den offenen SSH-Tunnel und fordert ein neues IDR-Bild samt SPS/PPS an (die 900 ms sind eine dokumentierte Rückfallschwelle ohne Sitzungsabbruch, keine Garantie für einen Wechsel ohne kurzen Bildstillstand).

Zusätzlich erzeugt der Agent höchstens ein erzwungenes IDR-Schlüsselbild alle 500 ms (maximal 2 IDR pro Sekunde), während der Client eine offene Schlüsselbildanforderung auf dem unzuverlässigen UDP-Pfad alle 200 ms wiederholt, bis das IDR eintrifft — so löst Paketverlust keine Kaskade großer Keyframes aus. Die Senderate orientiert sich an der vom Empfänger tatsächlich quittierten Byte-Rate und hält bei erkanntem Verlust 10 Prozent Sicherheitsreserve ein.

Angewandte Forschung in der Praxis: Zwei widerlegte Hypothesen und ein verworfener Filter auf ruhendem Desktop

Gute Systemtechnik zeigt sich nicht daran, dass erste Annahmen immer stimmen, sondern daran, wie konsequent Messdaten falsche Erklärungen korrigieren — einschließlich der eigenen. Am 13. August 2026 vermaßen wir den Pfad ServerMount Agent auf einer realen Linux-Maschine unter Ubuntu 26.04 LTS mit KDE Plasma auf Wayland (Intel-VA-API-Encoder, 60 angeforderte fps, Qualitätsstufe 80) vor einem vollständig ruhenden Bildschirm. Auf genau dieser unbewegten Szene lieferte der Strom 52,8 Bilder pro Sekunde bei 14,3 Mbit/s (SPS/PPS vor allen 14 IDR-Frames, erstes Bild nach 1,8 s), einen direkt auf der Maschine gemessenen Median-Abstand (p50) von 16,67 ms sowie gleichzeitig ein p95 von rund 150 ms und Maximalabstände von rund 1,5 Sekunden.

Zwei naheliegende Ingenieurhypothesen sollten diese Pausen zunächst erklären — und fielen beide im Gegenversuch:

  • Hypothese 1 („Die Pausen sind TCP im SSH-Tunnel“): Widerlegt, weil derselbe Strom lokal auf derselben Maschine ohne Netzwerk dazwischen weiterhin p95 = 155 ms und max = 1,5 s zeigte, während ein Rohdatentransfer (dd) über dieselbe SSH-Verbindung 139 Mbit/s bei p95 = 2,4 ms hielt — rund das Zehnfache der Videorate.
  • Hypothese 2 („Die Pausen stammen von großen IDR-Schlüsselbildern“): Ein IDR-Frame wog rund 585 KB gegenüber 23 KB eines normalen Bildes. Als wir das GOP-Intervall verlängerten und die IDR-Frames in 15 Sekunden von 14 auf 2 senkten, verschlechterte sich p95 jedoch auf 78 ms statt 67 ms — auch diese Erklärung war falsch.

Die anschließende Spurensuche vom 13. bis 15. August 2026 legte auf derselben ruhenden Oberfläche zwei reale Ursachen offen: Erstens wiederholte videorate im Ruhezustand das letzte Bild, während der VA-API-Encoder im Konstantbitraten-Modus diese Kopien voll auskodierte. Erst das Verwerfen der videorate-Duplikate in Verbindung mit variabler Bitrate senkte den Ruheverkehr (15-Sekunden-Läufe) von 51,7 fps bei 13,8 Mbit/s auf 23,5 fps bei 2,97 Mbit/s — ergänzt um ein leichtgewichtiges SEI-Lebenszeichen alle 2,5 Sekunden für echte Ruhephasen, wobei das Verhalten unter realer Bewegung ausdrücklich als separate Messaufgabe offenblieb. Zweitens entfielen rund 47 von 50 CPU-Prozentpunkten auf die Software-Farbraumkonvertierung (videoconvert BGRx→NV12). Ein Stichprobentest (ein Byte pro 4096) täuschte zunächst 92 Prozent identische Compositor-Frames vor; der daraufhin am 15. August gebaute vollständige Byte-für-Byte-Vorfilter erhöhte die CPU-Last jedoch von 47,8 % auf 58,4 % und wurde wieder entfernt, weil real nur 4 bis 9 Prozent der Frames exakt identisch waren (der Rest änderte im Median 0,016 % der Bytes bzw. 1,6 % der 64-KiB-Blöcke, etwa durch Uhr oder Statusleiste) und libgstpipewire.so (GStreamer 1.28.2) die VideoDamage-Metadaten von PipeWire nicht weiterreichte.

Messmethodische Konsequenz: Passive Frame-Abstände auf einem ruhenden Desktop messen keine Eingabe-zu-Pixel-Latenz. Sie vermischen Ruhephasen der Oberfläche, kleinste Teiländerungen des Compositors und Eigenschaften der Encoding-Kette — ein sauberer p50 im Stillstand beweist noch keine Reaktionszeit unter Bewegung.

Aus diesen Korrekturen folgen zwei verbindliche Regeln für unsere Entwicklung und Kommunikation: Erstens ist ein dedizierter Prüfstand für aktive Eingabe-zu-Pixel-Latenz (misura-tasto-pixel.py mit vollflächigem Schwarz-Weiß-Wechsel und Luminanzmessung im echten H.264-Strom) vorbereitet, aber auf einer realen Arbeitssitzung noch nicht ausgeführt — wir nennen deshalb bewusst noch keinen Latenzwert für Eingabe-zu-Pixel. Zweitens veröffentlichen wir auf cardinalhost.org keine Latenzvergleiche gegenüber Parsec, RustDesk oder TeamViewer, solange keine reproduzierbaren Ende-zu-Ende-Messreihen unter realer Bewegung vorliegen. Denselben Maßstab nachprüfbarer Qualitätsgates wenden wir in unserem Engineering-Bericht zu automatisierten Browser- und Barrierefreiheits-Gates mit Playwright sowie bei verantwortlicher KI- und Systemintegration an.

Was heute steht — und woran wir als Nächstes arbeiten

Zusammengefasst ruht der Fernwartungspfad von CardinalHost heute auf überprüfbaren Bausteinen: getrennten Vertrauenspfaden für eigene Server und begleitete Arbeitsplätze, nativer Wayland-Anbindung mit deterministischem View-Only-Rückfall auf Fedora 45 / GNOME 51 sowie einem kryptografisch abgesicherten SSH/UDP-Hybridtransport mit Drei-Frame-Promotionsregel und 900-ms-Rückfallschwelle. Die nächsten Entwicklungsschritte umfassen die Ausweitung der automatisierten Kompatibilitätsmatrix auf KDE Plasma und wlroots-Umgebungen, die Angleichung des direkten UDP-Pfads über alle Agentenvarianten hinweg sowie die erstmalige Durchführung und Veröffentlichung der vorbereiteten Eingabe-zu-Pixel-Messreihen unter realer Bewegung.

Häufig gestellte Fragen (FAQ)

Benötigt CardinalHost unter Linux einen Rückfall auf eine X11-Sitzung?

Nein. CardinalHost nutzt unter Wayland die Desktop-Portale xdg-desktop-portal (ScreenCast und RemoteDesktop) zusammen mit PipeWire für den Bildstrom und /dev/uinput für Eingaben. Vollständig Ende-zu-Ende im Feld erprobt ist dieser Pfad derzeit auf Fedora 45 mit GNOME 51; weitere Desktop-Umgebungen befinden sich im Aufbau.

Was passiert, wenn das Wayland-Portal die Fernsteuerung von Maus und Tastatur ablehnt?

CardinalHost bricht die Sitzung nicht ab, sondern schaltet deterministisch in den Nur-Ansicht-Modus (View-Only). Die Bildübertragung über PipeWire läuft regulär weiter, und die Oberfläche zeigt eindeutig an, dass keine Eingaberechte vorliegen.

Wann wechselt der Videostrom vom SSH-Tunnel auf direktes UDP?

Jede Sitzung startet im verschlüsselten SSH-Tunnel. Ausschließlich auf dem Pfad .agenteLinux (die öffentliche Assistenz-Engine auf Pfad B bleibt auf SSH) erfolgt der Wechsel auf ChaCha20-Poly1305-gesichertes UDP erst nach optionaler RFC-5389-STUN-Ermittlung, drei aufeinanderfolgenden vollständigen UDP-Frames und einem vor der Promotionsbestätigung angeforderten IDR-Schlüsselbild (0,78–1,50 s von Bestätigung bis zum ersten Vollbild in sieben Prüfläufen, Schwelle 2,0 s). Bleiben authentifizierte UDP-Pakete 900 ms lang aus, hält der Client das letzte Bild und schaltet mit neuer IDR-Anforderung auf den offenen SSH-Tunnel zurück.

Warum nennt CodLab noch keine Latenzvergleiche gegenüber Parsec, RustDesk oder TeamViewer?

Weil unsere bisherigen Messungen vom August 2026 auf Ubuntu 26.04 / KDE Wayland passive Frame-Abstände vor einem ruhenden Bildschirm erfassten. Solche Intervalle bilden Ruhephasen, Duplikatfilterung und Kleinständerungen der Oberfläche ab, nicht die Reaktionszeit von einer Eingabe bis zum geänderten Pixel. Unser aktiver Stimulus-zu-Pixel-Prüfstand ist vorbereitet, aber noch nicht als Vergleichsreihe unter realer Bewegung durchgeführt.

Teilen Sie diesen Artikel

Kunden

Noch keine Kommentare. Schreiben Sie den ersten!

Einen Kommentar hinterlassen

Wird nicht veröffentlicht

Verwandte Artikel

Projekt im Kopf?

Wir entwickeln maßgeschneiderte Software und KI-Lösungen. Lassen Sie uns gemeinsam Ihr nächstes Projekt starten.

Kostenloses Erstgespräch