Vi hører om Østergaard og familien Krabbe første gang i 1408, hvor dronning Margrethe rejste i Jylland for at geninddrage krongods, der var tabt under valget af hendes søn Olaf som dansk konge 1376-1387. I konflikten med Albrecht af Mecklenburg havde Niels Krabbe, Østergaard opført sig på en måde, så han blev tvunget til at afstå gods til kronen.
Barnebarnet Lucas Krabbe, der overtog Østergaard i 1483 startede på opførelsen af det nuværende Østergaard. Den endelige færdigbygning af den lille herregård sluttede under Ivar Krabbe, som også fik byttet sig til værdifulde len fra kronen samt fik tildelt birkeretten til tilhørende gods inden sin død i 1561. Som ivrig fortaler for reformationen under Christian d. 3. og med sæde i Rigsrådet fik Ivar Krabbe erhvervet sig en ganske solid position, som satte ham i stand til både at bygge Østergaard færdig og starte byggeriet af Krabbesholm i Skive.
Hovedbygningen til Østergaard består af fire fløje, som omkranser en lille gårdsplads. Bygningerne er i sengotisk byggestil (som Krabbesholm), de er i to etager med kælder under. Nord- og østfløjene er bygget af Ivar Krabbe o. 1550. Der er løbende kun blevet udført få og små indvendige renoveringer af bygningerne, der i dag står som en af de fornemmeste repræsentanter for herregårdsbyggeri fra før reformationen. Avlsbygningerne er genopført og moderniseret i 1958 efter en brand.
Øtergaard var i slægtens besiddelse indtil enevælden 1660, hvor gården som et resultat af beskadigelserne under krigen mod Sverige, Karl 10. Gustaf 1657-60 blev så beskadiget, at Christian Lindenov solgte til en borgerlig ejer, Erik Olufsen Torm, hvilket blev muliggjort under enevælden, både for at svække arveadelen og for at skaffe kronen en tiltrængt økonomisk gevinst.
Krabbe i Dipllomatarium Danicum. Niels Krabbe 1403, Ivan Krabbe 1404, Niels Mikkelsen Krabbe 1406, Niels Krabbe oplader og skøder gods til Margrethe og Erik 1406, gentages adskillige gange i 1406, 30. nov. 1407 en af vidnerne v. Johan Skarpenbergs overdragelser til kronen,
I Diplomatarium Vibergense hedder det om Iver Krabbe: "1532, 21 Juli. Sognevidne fra Fur, udstedt af Præsten Kristen Nielsen m. fl. Søndag efter St. Margarete Dag, »at Hans v. Visch og Jver Krabbe med deres Følge red frem og tilbage og jagede i Povl Grises Korn og nedrede hans Dige og Lukkelse for hans Korn den Løverdag nest efter St. Ketili Dag sidst forleden«. Papir med Segl. Smstds." Fra samme hændelse desuden: "1532, 25 Juli. Mester Anders Skovgaard og Mester Niels Fris tilskrive Glob Krabbe til Østergaard om hans Søns »ukristelige« Adfærd mod de fattige Bønder paa Fur.Smstds. Meddelt i Ny kirkebist. Saml. V, 575." Det skulle fremgå, at Iver Krabbe har hat en "ukristelig adfærd" ind imellem, og at faderen er til Østergaard, ikke Bustrup, hvor vi i det efterfølgende kan konstatere en broder som ejer og rigsråd.
Og videre om Iver Krabbe: "1547, 18 Februar. Gjenoptagelse af Sagen mellem Jver Krabbe og Viborg Domkapitel (s. Nr. 326). Den afgjordes imidlertid endnu ikke, da Jver Krabbe ikke var eneste Arving og han ikke havde truffet nogen Overenskomst med sine Medarvinger (Rigsraad Erik Krabbe til Bustrup, Landsdommer Jens Mogensen i Viborg og Niels Skel til Nygaard).Trykt i Ny kirkehist. Saml. VI, 265. 333." Det fremgår her, at Iver Krabbe havde en broder til Bustrup, der var rigsråd. Se slægtsoversigt m.v. i Danske Slotte og Herregårde og Skeel-Schaffalitzky, Santasilia samt Gyldendals Den Store Danske.
Forbindelsen i Krabbe slægten mellem Østergaard og Bustrup.