Krabbesholm hedder oprindeligt Skovshoved, efter sigende dannet af to bøndergårde, Nørre- og Sønder-Skovshoved.
Ved ægteskab med Magdelene Banner fik Iver Krabbe til Østergaard ejerskab til gården, hvor han besluttede at opføre den nuværende bygning i 1554. Magdalene Banner færdiggjorde byggeriet efter Iver Krabbes død i 1561 og beholdt Krabbesholm sammen med Østergaard. Desuden havde hun indtil 1572 Skivehus som len, et pant, som hun sammen med Iver Krabbe havde haft siden 1549.
Krabbesholm blev bygget i sengotisk stil stort set samtidig med at slægten Rosenkrantz i Hornslet nord for Århus byggede Rosenholm i den dengang helt nye renæssancestil. Den lærde Holger Rosenkrantz, rigsråd og vidende teolog, filolog m.v. var den, der afsluttede byggeriet af Rosenholm med sydfløjen o. 1610, den øvrige del af byggeriet startede Jørgen Rosenkrantz i 1559.
Ud over de fine sengotiske bygningsværker rummer Krabbesholm også køkkenmøddinger, hvor kun tilfældigheder har gjort, at den kultur, der nu hedder Ertebøllekulturen, ikke er blevet døbt Krabbesholm-kulturen. D.v.s. overgangen fra jæger- til bondesamfund o. 4000 f. Kr.
Til Krabbesholms akitektoni kan nævnes blændingsdekorationerne, og patriarkalkorset i de kamtakkede gavle. Byggematerialerne er munkesten fra Hald ved Viborg. Der er en fladloftet kælder med to stokværk over og et fundament af granitkvadre, næsten to meter tyk.
Efter Krabbe og Magdalene Banner gik det økonomisk rigtig skidt med Krabbesholm, hvor arvinger næsten fik for vane at
fragå arv og gæld. Med Verner Rosenkrantz, som i 1755 også blev amtmand over Skivehus Amt, starter Krabbesholms glanstid, økonomisk i det mindste. Han ejede både krabbesholm og Skivehus, og Rosenkrantz fik - som en del af den enevældige krones brug af nyslåede adelstitler (grever og baroner) - som baron både en økonomisk gevinst og en administrativ forpligtelse i tilgift til titlen.
Mere tvivlsom kan man sige, en del af de foretagne moderniseringer var, f. eks. overkalkning af de smukke munkesten - hvor kalken dog senere er fjernet igen. Desuden opførtes de to lange sidefløje af bindingsværk. Samt omfattende indvendige udsmykninger i, hvad man titulerer "en frodig rokokostil".
Verner Rosenkrantz kunne navnemæssigt forveksles med Rosenholms ejere. Men der er her tale om en anden linje inden for slægten. I 1802 overtog denne del af slægten faktisk Rosenholm. Krabbesholm derimod fik en række borgerlige ejere, som i varierende grad havde held med godsdriften.
Resenlund, aflægger af Krabbesholm 