Hallo,
ntpdate in der rc.conf setzt die Zeit nur einmalig beim starten des Servers.
Wenn dein Server eine längere Zeit durchläuft können die Abweichungen sich wieder aufsummieren.
Eine Lösung wäre ntpdate durch einen cron Job regelmäßig starten zu lassen. Siehe auch die man-Page.