Es kann sein, das der Server nur Verbindungen aus dem gleichen Netz zulässt, ich glaube da gibt es irgendwo die Einstellung dafür.
Wenn schon X auf einem Rechner läuft und du zusätzlich die X-Oberfläche deines Servers anzeigen möchtest einfach ein
# /usr/X11R6/bin/X :1 -query <servername>...