Zeige mal alle deine Regeln.
Und was mir auffällt: Die Pass-Regel ist keine quick-Regel - wie sieht es mit der Beachtung der Reihenfolge aus?
versuch mal:
# pfctl -d
# tcpdump -i <nw> &
# mail bla@blah.xyz
dann siehst du, welche verbindungen aufgebaut werden, und was du falsch machst.