Das hat wohl verschiedene Gruende: Einerseits gab es lange Zeit kein IB (oder nur kommerzielle Treiber, also kein OFED) in FreeBSD. Andererseits laufen auf vielen der Supercomputer eine riesige Anzahl an verschiedener, freier, selbstentwickelter, aber auch kommerzieller Software, die ueber "modules" geladen werden und die bieten meistens nur Support fuer eins der grossen "Enterprise Linux" Systeme.
Dann waere halt noch das laestige Thema mit GPU/CUDA/OpenCL und nun noch Intel Phi, wofuer es bisher keinen offiziellen Weg, oder erst gar keine Unterstuetzung gibt. Dabei hat FreeBSD darin durchaus grosses Potential. Messungen mit HPL haben bei mir immer aehnliche Performance geliefert und FreeBSD ist meiner Meinung nach einfacherer auf grossen Cluster zu deployen, als erst umstaendlich ein dickes Cobbler und puppet zu installieren, damit man den ganzen Kram vernuenftig automatisieren kann. Letztlich wird sich bis auf ein paar Exoten Linux weiter durchsetzen.
M$ hat ja versucht in diesem Markt reinzukommen, aber die haengen mit ihrem HPC Pack fuer Windows gute 10-15 Jahre hinter Linux zurueck. Das ist nur schwer wegzumachen und bedarf viel Ueberzeugunsarbeit bei den potentiellen Kunden. Nicht umsonst versuchen sie nun kleinere Kunden mit Azure zu locken. Heute wird auch viel open source code eingesetzt und der laeuft meistens nur maessig unter Windows, oder nur per mingw kompiliert.