CODLAB / Blog · Software e sviluppo

CardinalHost su Linux Wayland: PipeWire, /dev/uinput, trasporto H.264 ibrido e perché gli intervalli tra frame non misurano la latenza

15 nov 2026 CODLAB Team 11 min

Aggiornato a novembre 2026: CardinalHost (attualmente in fase di pre-lancio e documentato su cardinalhost.org) affronta l’assistenza remota su Linux Wayland senza ripiegare su X11, integrando xdg-desktop-portal, PipeWire e /dev/uinput. Il flusso H.264 Annex-B parte nel tunnel SSH, promuove opzionalmente su UDP autenticato ChaCha20-Poly1305 dopo tre frame completi e separa rigorosamente gli intervalli passivi tra fotogrammi su desktop fermo dalla latenza attiva input-pixel, le cui campagne di misura restano aperte.

Perché Wayland rende obsoleti i presupposti storici del desktop remoto

Per decenni gli strumenti di teleassistenza su Linux hanno sfruttato il modello di fiducia implicito di X11: qualunque processo locale dotato di accesso al socket del server grafico poteva leggere l’intera finestra radice e iniettare eventi sintetici di tastiera o puntatore tramite l’estensione XTest. Quel modello semplificava l’implementazione dei client remoti, ma lasciava priva di confini architetturali la differenza tra una normale utilità utente e il controllo completo della sessione grafica.

Wayland ribalta questa impostazione alla radice. Le superfici delle applicazioni sono isolate dal compositor e né la cattura dello schermo né l’iniezione globale dell’input sono consentite senza una mediazione esplicita dei portali di sessione. Molti software esistenti aggirano tuttora il problema chiedendo all’utente di disconnettersi e tornare a una sessione Xorg legacy, oppure mostrano uno schermo nero o interrompono la connessione quando l’utente concede la sola visualizzazione negando il controllo del cursore.

Nel lavoro di ricerca applicata e ingegneria dei sistemi dedicato a CardinalHost nella sezione di ricerca dei nostri progetti abbiamo scelto la strada opposta: trattare i confini di sicurezza di Wayland come requisiti nativi del protocollo. All’interno della Famiglia Cardinal, CardinalHost negozia in modo trasparente i permessi concessi dal desktop e adatta il proprio comportamento senza forzature.

Due percorsi Linux distinti invece di un unico agente ambiguo

Una scelta strutturale di CardinalHost consiste nel separare nettamente l’amministrazione non presidiata dei propri server dall’assistenza remota temporanea prestata sul computer di un’altra persona. Fondere questi due casi d’uso in un solo demone permanente produce inevitabilmente o privilegi eccessivi durante il supporto agli utenti o attriti inutili per chi gestisce infrastrutture.

Dimensione Percorso A: ServerMount Agent (sistemi propri) Percorso B: Motore pubblico di assistenza (supporto presidiato)
Scenario d’uso Amministrazione di server e workstation Linux da parte del proprietario Assistenza remota temporanea sulla postazione di lavoro di un’altra persona
Avvio e installazione Avvio su richiesta tramite connessione SSH esistente da ~/.local/bin Installazione di sistema dedicata (pubblico-linux.sh) con percorso d’avvio vincolato
Vincolo chiave SSH Credenziali amministrative SSH ordinarie del responsabile del sistema Chiave SSH dedicata vincolata con ForceCommand senza shell interattiva
Visibilità e revoca Nessuna porta aggiuntiva esposta oltre SSH; nessun account cloud o relay esterno Dialogo grafico di consenso, indicatore nel vassoio di sistema e revoca istantanea

Sul Percorso A il client avvia l’agente direttamente dentro la sessione SSH già autenticata dall’amministratore: non restano demoni in ascolto su porte proprietarie e nel funzionamento su solo SSH non serve alcun relay esterno (se viene configurato STUN opzionale per UDP diretto, il server STUN prescelto osserva l’indirizzo pubblico riflesso secondo RFC 5389). Sul Percorso B, invece, chi riceve assistenza mantiene in ogni istante il governo della propria macchina: la chiave SSH registrata non può aprire una shell generica grazie al vincolo ForceCommand, ogni sessione richiede una conferma esplicita nel dialogo grafico, un’icona nel vassoio di sistema segnala la condivisione attiva e un singolo clic revoca immediatamente sia il flusso video sia i permessi di input.

Cattura tramite PipeWire e iniezione input tramite /dev/uinput

Sotto Linux Wayland, CardinalHost articola la sessione remota su tre livelli distinti: negoziazione D-Bus con i portali di sistema, acquisizione multimediale tramite PipeWire e gestione dell’input tramite portale o /dev/uinput.

  • Negoziazione con i portali: Attraverso le interfacce org.freedesktop.portal.ScreenCast e org.freedesktop.portal.RemoteDesktop, l’agente richiede alla sessione grafica l’accesso alla sorgente video e ai dispositivi di puntamento e tastiera, lasciando al compositor la selezione del monitor e la conferma dell’utente.
  • Passaggio alla pipeline H.264 Annex-B e stato reale della conversione colore: Ottenuto il descrittore del nodo PipeWire, la pipeline GStreamer legge i fotogrammi tramite pipewiresrc ed emette un flusso H.264 Annex-B con invio di SPS/PPS prima dei punti di aggancio. Nello stato misurato il 15 agosto 2026 su ServerMount Agent (Percorso A), i fotogrammi arrivavano nella memoria di sistema, attraversavano due conversioni consecutive (videoconvert in software seguita da vapostproc) e impegnavano circa il 50% di un core CPU anche a schermo fermo; dal 15 settembre 2026 (fetta P3) il motore pubblico di assistenza (Percorso B) negozia un percorso diretto da DMA-BUF a VA-API con ripiego automatico sulla memoria di sistema (verificato nei banchi GStreamer sulla struttura della pipeline ma non ancora misurato su hardware VA reale), mentre ServerMount Agent converte tuttora in software.
  • Degrado deterministico a sola vista (View-Only): Se il portale desktop nega il permesso di controllo remoto o se i permessi sul dispositivo /dev/uinput non sono disponibili, CardinalHost non interrompe la connessione né entra in stati incoerenti. L’handshake notifica l’assenza del canale di input e commuta in modo pulito alla modalità di sola visualizzazione, mantenendo immediata l’osservazione diagnostica.

Stato verificato delle piattaforme: L’intero ciclo Wayland end-to-end — comprensivo di cattura PipeWire, controllo di mouse e tastiera via /dev/uinput e ritorno pulito a sola vista — è oggi provato sul campo su Fedora 45 con GNOME 51. Il supporto per KDE Plasma, compositor basati su wlroots (Sway, Hyprland) e profili specifici su Ubuntu/Debian e Arch Linux è attualmente in sviluppo e dichiarato con trasparenza come tale.

Trasporto video ibrido: base SSH e promozione a UDP autenticato

Nella progettazione del trasporto video per il controllo remoto emerge sempre un compromesso strutturale. Incapsulare il video in TCP dentro SSH garantisce l’apertura immediata della sessione attraverso quasi ogni firewall aziendale, ma in presenza di perdita pacchetti sulle reti geografiche espone al blocco in testa alla coda (TCP head-of-line blocking): un singolo segmento smarrito trattiene nel buffer del kernel anche i fotogrammi successivi già arrivati. Al contrario, affidarsi al solo UDP elimina l’accodamento ma fallisce spesso dietro NAT simmetrici o reti restrittive.

CardinalHost affronta questo compromesso con una macchina a stati di trasporto a due stadi (attualmente attiva soltanto sul percorso .agenteLinux; il motore pubblico di assistenza sul Percorso B resta nel tunnel SSH):

  1. Avvio immediato nel tunnel SSH: Ogni sessione parte subito trasmettendo il flusso H.264 Annex-B dentro il canale SSH cifrato già aperto, assicurando l’operatività ovunque arrivi SSH.
  2. Scoperta STUN RFC 5389 e segnalazione SEI: Se è configurato un server STUN, mentre il flusso video scorre su SSH gli endpoint determinano i rispettivi indirizzi pubblici riflessi tramite richieste STUN standard (RFC 5389, MAGIC_COOKIE = 0x2112A442, attributo XOR-MAPPED-ADDRESS), scambiandosi i parametri sullo stdin del processo SSH e in messaggi H.264 SEI user_data_unregistered.
  3. Sonde UDP autenticate con ChaCha20-Poly1305: Prima di commutare il traffico video, il client trasmette nel canale SSH autenticato una chiave casuale a 32 byte e l’identificativo di sessione; client e agente scambiano quindi sonde UDP cifrate e autenticate con ChaCha20-Poly1305, scartando ogni pacchetto privo di tag valido.
  4. Soglia dei tre fotogrammi e intervallo conferma → primo fotogramma: L’arrivo di una piccola sonda non dimostra che fotogrammi completi superino la MTU del percorso. CardinalHost commuta su UDP diretto solo dopo tre fotogrammi video completi consecutivi ricevuti via UDP: l’agente richiede un keyframe IDR prima di inviare la conferma di promozione e il client scarta i tre fotogrammi di prova per alimentare il decodificatore solo dopo la conferma. In sette prove alternate del 15 agosto 2026 (prova-collegamento-diretto.py su Ubuntu 26.04 GNOME nel perimetro .agenteLinux), il tempo trascorso dalla conferma di promozione al primo fotogramma completo consegnato è risultato compreso tra 0,78 s e 1,50 s a fronte di una soglia dichiarata di 2,0 s — una misura del riaggancio su keyframe dopo la conferma, non della negoziazione complessiva né della latenza percepita.
  5. Heartbeat a 200 ms e soglia di ritorno a 900 ms: Durante il funzionamento UDP entrambe le parti inviano heartbeat autenticati ogni 200 ms; se per 900 ms non arrivano pacchetti autenticati, il client mantiene a schermo l’ultimo fotogramma, riseleziona il tunnel SSH aperto e richiede un nuovo IDR con SPS/PPS (900 ms è la soglia documentata di rientro senza caduta della sessione, non una garanzia di assenza totale di fermo immagine).

Per evitare cascate di keyframe su collegamenti degradati, l’agente produce al massimo un keyframe IDR forzato ogni 500 ms (al più 2 IDR al secondo), mentre il client ripete la richiesta su UDP ogni 200 ms finché l’IDR non arriva. Il pacing del mittente segue la portata in byte effettivamente osservata dal ricevitore mantenendo un margine del 10% in caso di perdita.

Ricerca applicata sul campo: due ipotesi falsificate e un filtro respinto su desktop fermo

Fare ricerca ingegneristica significa lasciare che i dati sperimentali smentiscano le spiegazioni più intuitive — comprese le proprie. Il 13 agosto 2026 abbiamo misurato il percorso ServerMount Agent su una macchina Linux reale con Ubuntu 26.04 LTS e KDE Plasma su Wayland (encoder Intel VA-API, 60 fps richiesti, qualità 80) davanti a uno schermo completamente fermo. Su quella scena immobile il flusso consegnava 52,8 fotogrammi al secondo a 14,3 Mbit/s (SPS/PPS prima di tutti i 14 IDR, primo fotogramma dopo 1,8 s), con intervallo mediano tra fotogrammi (p50) misurato sulla macchina stessa pari a 16,67 ms, ma al tempo stesso un p95 intorno a 150 ms e intervalli massimi fino a circa 1,5 secondi.

Due ipotesi classiche sembravano spiegare subito quelle pause — ed entrambe sono cadute alla prova diretta:

  • Ipotesi 1 («Le pause dipendono da TCP nel tunnel SSH»): Smentita perché lo stesso flusso, misurato localmente sulla macchina stessa senza rete in mezzo, mostrava ancora p95 = 155 ms e max = 1,5 s, mentre un trasferimento grezzo (dd) sulla medesima connessione SSH sosteneva 139 Mbit/s con p95 = 2,4 ms — circa dieci volte la banda del video.
  • Ipotesi 2 («Le pause nascono dai keyframe IDR pesanti»): Un fotogramma IDR pesava circa 585 KB contro i 23 KB di un fotogramma ordinario; tuttavia, allungando il GOP fino a ridurre gli IDR da 14 a 2 in 15 secondi, il p95 è peggiorato a 78 ms contro 67 ms, confutando anche la seconda spiegazione.

Le verifiche successive tra il 13 e il 15 agosto 2026 sulla stessa scrivania ferma hanno isolato invece due fenomeni reali della pipeline. Primo: a schermo immobile videorate ripeteva l’ultimo fotogramma mentre l’encoder VA-API lavorava a banda costante, spendendo traffico per ricodificare copie; eliminando i duplicati di videorate e passando a banda variabile, il traffico a riposo (prove da 15 secondi) è sceso da 51,7 fps e 13,8 Mbit/s a 23,5 fps e 2,97 Mbit/s — affiancato da un segnale vitale SEI leggero ogni 2,5 secondi durante le pause, lasciando esplicitamente aperta la misura sotto movimento reale. Secondo: circa 47 punti percentuali di CPU su 50 andavano nella conversione colore software (videoconvert BGRx→NV12). Un confronto a campione (un byte ogni 4096) aveva fatto credere inizialmente che il 92% dei fotogrammi del compositor fosse identico; quando il 15 agosto abbiamo scritto e misurato un filtro completo byte per byte prima della conversione, la CPU è peggiorata dal 47,8% al 58,4% e il filtro è stato respinto, perché i fotogrammi davvero identici erano solo il 4–9% (gli altri cambiavano in mediana nello 0,016% dei byte, pari all’1,6% dei blocchi da 64 KiB, come orologio o barra di stato) e libgstpipewire.so (GStreamer 1.28.2) non esponeva i metadati VideoDamage di PipeWire.

Conseguenza metodologica: Gli intervalli passivi tra fotogrammi su uno schermo fermo non misurano la latenza da input utente a pixel. Mescolano quiete della scena, micro-aggiornamenti del compositor e cadenza dell’encoder: un p50 pulito a scrivania immobile non dimostra la prontezza sotto movimento attivo.

Da queste rettifiche derivano due regole operative per i nostri strumenti e per la comunicazione pubblica. Primo: il banco automatico per la latenza attiva da tasto a pixel (misura-tasto-pixel.py, basato su alternanza schermo intero nero/bianco e misura della luminanza sul flusso H.264 reale) è pronto ma non è ancora stato eseguito su una sessione reale, quindi non dichiariamo ancora alcun numero di latenza input-pixel. Secondo: su cardinalhost.org non pubblichiamo confronti di latenza rispetto a Parsec, RustDesk o TeamViewer finché non saranno eseguite campagne riproducibili end-to-end sotto movimento reale. È lo stesso criterio di cancelli verificabili che applichiamo nelle note tecniche su collaudi automatici di accessibilità con Playwright e axe e nei progetti di ingegneria dei sistemi e integrazione IA.

Cosa è operativo oggi e quali sono i prossimi passi

Oggi lo strato di controllo remoto di CardinalHost poggia su fondamenta verificabili: separazione architetturale tra gestione dei propri server e supporto presidiato con consenso, integrazione nativa Wayland con degrado pulito a sola vista provata su Fedora 45 / GNOME 51 e promozione ibrida da SSH a UDP autenticato con regola dei tre fotogrammi completi e soglia di rientro a 900 ms. I prossimi passi di sviluppo riguardano l’estensione della matrice di test automatici a KDE Plasma e agli ambienti wlroots, l’allineamento della promozione UDP su tutte le varianti dell’agente e l’esecuzione e pubblicazione delle misure preparate di latenza da input a pixel sotto movimento reale.

Domande frequenti (FAQ)

CardinalHost richiede di passare a una sessione X11 per funzionare su Linux?

No. CardinalHost opera nativamente su Wayland negoziando i permessi tramite xdg-desktop-portal (ScreenCast e RemoteDesktop), acquisendo il video con PipeWire e gestendo l’input tramite /dev/uinput. Il flusso completo è oggi provato sul campo su Fedora 45 con GNOME 51, mentre il supporto per altri compositor è in sviluppo.

Cosa accade se il portale Wayland nega il controllo remoto di mouse e tastiera?

CardinalHost non interrompe la sessione ma commuta in modo deterministico alla modalità di sola visualizzazione (View-Only). Il flusso video tramite PipeWire resta attivo e l’interfaccia segnala chiaramente che il permesso di input non è stato concesso.

Quando avviene il passaggio del video dal tunnel SSH a UDP diretto?

Ogni sessione inizia dentro il canale SSH cifrato. Esclusivamente sul percorso .agenteLinux (il motore pubblico di assistenza sul Percorso B resta su SSH), il passaggio a UDP autenticato con ChaCha20-Poly1305 avviene solo dopo l’eventuale scoperta STUN RFC 5389, tre fotogrammi video completi consecutivi via UDP e un keyframe IDR richiesto prima della conferma di promozione (0,78–1,50 s dalla conferma al primo fotogramma completo in sette prove, soglia 2,0 s). Se i pacchetti UDP autenticati mancano per 900 ms, il client mantiene l’ultimo fotogramma e rientra sul tunnel SSH aperto richiedendo un nuovo IDR.

Perché CodLab non dichiara ancora confronti di latenza rispetto a Parsec, RustDesk o TeamViewer?

Perché le misure dell’agosto 2026 su Ubuntu 26.04 / KDE Wayland rilevavano intervalli passivi tra fotogrammi davanti a uno schermo fermo. Quegli intervalli riflettono quiete grafica, gestione dei duplicati e micro-aggiornamenti del pannello, non il tempo di risposta tra un comando dell’utente e il pixel modificato. Il banco attivo stimolo-pixel è pronto, ma le campagne comparative sotto movimento reale non sono ancora state eseguite.

Condividi questo articolo

Commenti

Nessun commento ancora. Sii il primo a commentare!

Lascia un commento

Non sarà pubblicata

Articoli Correlati

Hai un progetto in mente?

Sviluppiamo software personalizzato e soluzioni IA. Iniziamo insieme il tuo prossimo progetto.

Primo colloquio gratuito