Klosteret nævnes første gang i skriftlige kilder, hvor det nævnes, at det husede nonner af benediktinerordenen. Denne orden kom til Danmark med Ansgar, og der har i Danmark været 35 benediktinerklostre, regner man med. Kirkebygningen er 50-100 år ældre, og det må nok antages, at klosteret er grundlagt en gang i 1100-talet.
Indtil reformationen i 1536 var Ørslev Kloster et nonnekloster med jordtilliggende, men dets historie er ganske uvis, da bispestolens arkiv i Viborg brændte i 1726, hvor Ørslev Klosters arkiv var blevet henlagt.
Kirkegodset blev overtaget af kongemagten, og kongens repræsentant lokalt var så lensmanden.
På Ørslev Kloster kom der med kronens overtagelse en række lensmænd. I 1584 mageskiftede kronen det forfaldne kloster til Hans Chr. Lindenov.
Med salget til Jakob Lerche fulgte fra sidste del af 1700-tallet en række også borgerlige ejere, herunder regulære herregårdsslagtere:
- Henrik Rantzau 1536-38
- Mogens Kaas 1538-42
- Jens Rotfeld 1542-46
- Oluf Munk 1546-66
- Mette Oxe 1566-68
- Hennike van Hagen 1568-71
- Anne Lykke 1571-75
- Malthe Jensen Sehested 1575-84
- Hans Christoffersen Lindenov 1584-1610
- Hans Lindenov 1610-21
- Anders Lindenov 1621-39
- Hans Lindenov 1639-42
- Christence Lindenov 1642-79
- Sophia Amalia Friis g.m. Johan Rantzau 1671-1717
- Christence Lindenov Rantzau g.m. Chr. Fr. Levetazu
- Ivar Nicolaj Sehested 1719-24
- Marie Lasson og Frederik Berregaard 1724-47
- Frederik de Berregaard 1747-60
- Jakob Lerche 1760-68
- Regine Lerche og Hans Henrik Jørgensen 1768-77
- Mikkel D. Bering 1777-94
- Mathias Richter 1794-1828
- Marie A. D. Richter og Hans Jørgen Ring de Fønss 1828-74
- Frederik P. de Fønss og Anders Herskind 1874-78
- Elisa Fønss og Anders Herskind 1878-1907. A. Herskind dør 1903
- Alvilda Herskind og Fritz Grotrian 1907-13
- P. O. J. Malling 1913-18. Forfald, vist især en konsekvens af Fritz Grotrians tid, Nationalmuseet griber ind for at bevare klostret. Ejerskab under konsortium, flere forskellige ejere, den sidste er J. Chr. Petersen, der beholder hovedgården og sælger klosterbygningerne til O. Sponneck efter at have skaffet en bevilling fra Bygningssynet til restaurering af klostrets hovedbygning
- Olga Sponneck 1934-64. Gennemgribende restaurering og istandsættelse af klostrets hovedbygning
- Komtesse Olga Sponnecks legat, arbejdsrefugium 1964-
Se o. herregårdsforpagtere i Hald og Skivehus amter i slutn. af 17. årh.