Für einen einfachen Desktop-PC braucht es die vielen Möglichkeiten eines X-Servers nicht. Einen X-Server-Light, der nur die Grafik macht, gibt es aber bis heute nicht, nicht bei OpenSource.
Was versprichst du dir davon konkret?
Für Linux gibt es gibt inzwischen Wayland, das auch schon recht brauchbar läuft.
Man hat schon länger erkannt, dass X11 an seiner Komplexitätsgrenze angelangt und schwer wartbar ist.
Meiner Meinung nach hat ein X-Server sehr viele Vorteile, die aber allermeist auf einem reinen ein Personen-EinPC-Desktop nicht zum Tragen kommen oder kaum jemals genutzt werden. Dass es bei Mac ohne geht, zeigt wohl eindeutig, dass die wenigsten User tatsächlich einen brauchen.
Die Masse der User kennt und braucht nicht einmal einen wie auch immer gearteten Remote-Login (egal ob SSH, VNC oder was auch immer).
Gäbe es eine OpenSource Alternative, ich wette, die Mehrzahl der Nutzer würde mit fliegenden Fahnen zu ihr überlaufen und vollkommen auf die tollen Möglichkeiten des X-Servers verzichten.
Der Mehrzahl der Nutzer ist das vollkommen egal. Sie nutzen, was ihre Distribution bzw. OS mitliefert.
Die Möglichkeiten von X11 stören ja nicht, wenn man sie nicht benutzt.

Ich würde die Vorteile von Mac OS X und Windows auf dem Desktop nicht am fehlenden X-Server festmachen. Der große Vorteil ist doch die Integration des Desktops von Apple bzw. Microsoft, weil alles aus einer Hand kommt.
Mit einem schlanken X11-Ersatz würde sich daran wenig bis gar nichts ändern.
Haben Microsoft-Systeme einen X-Server? Ich glaube nicht. Seht mal, wie viele Leute damit klarkommen.
Nicht alles, was hinkt, ist ein Vergleich.
Microsofts Remote Desktop Protocol bietet wesentlich mehr Funktionalität als X11.