So, wie es aussieht benutzt der Mixer nicht das OSS-API, sondern Pulseaudio. Versuche mal, ob
% pacmd set-default-sink 5
funktioniert. Wenn das der Fall ist, könntest Du den Befehl in Deine ~/.xinitrx schreiben, oder XFCE dazu bewegen, diesen Befehl beim Start auszuführen. Oder Du musst mal...