Kavalerfløjens historie kan føres næsten 400 år tilbage i tiden. Stedet hed oprindelig Skinnerup, men i 1616 erhvervede Chr. IV sig stedet, og i årene 1636 til 1646 byggede han det nye kongelige storgods, og gav det til sin og Vibeke Kruses søn, Ulrik Christian Gyldenløve. Heraf fik det sit smukt klingende navn: Ulriksholm.

Idag er der livlig aktivitet i bygningerne med antikviteter, galleri og cafe.