Ich grätsche hier mal rein um zu sagen, dass die fbdev Fehlermeldung egal ist und ignoriert werden kann.
Ohne xorg.conf probiert X halt ein paar Treiber durch und fbdev ist ein Linux-Ding.
Das ganze ist offensichtlich ein Problem mit xfce, mit dem Xorg ist alles in Ordnung. Hast Du es mal mit...