Du kannst einen Blick in die Makefiles des jeweiligen Ports werfen, dort stehen die möglichen Optionen drin, die du make mitgeben kannst. Dann gibt es noch bei einigen Ports "make config". Du bekommst dann ein Menu, wo du die entsprechenden Module, Erweiterungen...etc auswählen kannst. Wenn du den Port zum ersten mal baust, bzw keine config gespeichert wurde, kommt dieses Fenster immer automatisch. Wenn du nicht genau weißt, was die jeweilige Bibliothek/Option/Modul... macht, dann wirf ein Blick auf die Projektseite, oder gib zb dein imlib2 in freshports.org ein.
Alternativ kannst du auch "make search key=$suchbegriff" in /usr/ports benutzen, um den Portpfad herauszubekommen. Anschließend gehst du in das Verzeichnis und guckst in das pkg-descr File, wo eine kurze Beschreibung dazu steht.
Zu den "Optimierungen": Ich würde die Pfoten davon lassen, damit kannst du dir unter Umständen mehr zerschießen, als wie Performance rausholen, falls überhaupt. In der Regel sind die passenden Flags schon an den Port angepasst und liefern auch die bestmögliche Performance. Kein Compilerflag macht einen kaputten/langsamen Algorithmus, oder schlechte Programmierung wesentlich schneller. Deshalb ist es eigentlich schwachsinnig großartig von den Standardsabzuweichen, weil die in der Regel nicht ohne Grund so gesetzt sind.
Wenn du Programme optimieren willst, dann ist die Zeit meistens besser darin investiert den Code zu optimieren, oder den Algorithmus auszutauschen. Das nur mal als kleine Warnung.
Generell ist es aber nicht verkehrt sich seine Optionen mal anzugucken, aber um wirklich mit Compilerflags optimieren zu können muss du den Code kennen. Es gibt da einige pauschale Dinge die man machen kann, die aber auch wieder Probleme bringen können. Leider gibt es kein -make-it-damned-fast Flag. (*wartet jetzt auf den "Gentoo is for ricers" Link*) Du musst dich also näher damit beschäftigen, wenn du wirklich etwas rausholen willst.