In 1342 stichtten Gijsbrecht, heer van de hoge heerlijkheid IJsselstein († 1343), zijn zoon Arnold († 1363) en diens vrouw Maria van Avesnes op eigen grond bij de kapel te Eiteren een cisterciënzer klooster bestaande uit een abt en twaalf monniken. Behalve met grondbezit begiftigden Gijsbrecht en Arnold van IJsselstein de abdij ook met de inkomsten die verbonden waren aan een drietal altaren in de Eiterense kapel en met tweederde van de giften van de pelgrims en de overige kapelbezoekers aldaar. *  Het klooster was tevens bedoeld als gasthuis, dus als ziekenhuis en opvang voor pelgrims en IJsselsteiners. * 

Hoewel volledig opgenomen en geaccepteerd in de cisterciënzer orde, fnuikten ongelukkig getroffen regelingen en tegenslagen het cisterciënzer leven van abt en convent van 'het klooster van Onze Lieve Vrouw van Eiteren', zoals het in 1343 door paus Clemens VI genoemd werd. Dit is tevens de oudste vermelding van Onze Lieve Vrouw van Eiteren. *  Het klooster werd dus gesticht bij de kapel waar de verering van Onze Lieve Vrouw van Eiteren plaats vond en waar toen al pelgrims kwamen.

De abdij stond op grond van de heer van IJsselstein en niet op eigen grond. Landerijen in de nabijheid van de abdij in de heerlijkheid IJsselstein zelf konden de cisterciënzers niet zomaar verwerven, daar was de heer op tegen. Bovendien zou bij een eventuele verplaatsing van de abdij alle bezit aan de heer van IJsselstein toevallen. Een ander nadeel was, dat het meeste grondbezit ver weg lag, namelijk helemaal in Salland. De grootste schenking, die door Hubertus van Budel, eertijds de voornaamste klerk van bisschop Jan van Diest, gedaan was, bedroeg 80 morgen wildernisland bij Dalfsen. *  Dit vormde feitelijk de materiële grondslag van de abdij. Maar aan de ontginning en exploitatie daarvan konden de acht à negen monniken waaruit de abdij feitelijk bestond, onmogelijk behoorlijk leiding geven, of zelfs maar daar voldoende toezicht op houden. De abdij van OLV van Eiteren was mede bedoeld als een monument ter nagedachtenis en voor de zielerust van de eertijds zo in het nauw gebrachte machteloze Utrechtse bisschop Jan van Diest, die kort tevoren in 1340 was overleden en van Gijsbrecht van Egmond, die in het Nedersticht ambten van hem in pand had gehouden.

De abdij was ook gesticht als een verzoeningssymbool van IJsselsteinse kant tussen Holland en het Sticht Utrecht. Maar de abdij kon zeker niet rekenen op de welwillendheid van de nieuwe bisschop Jan van Arkel vanwege diens hernieuwde oorlogen met de pro-Hollandse Arnold van Ijsselstein. *  Zo heeft de bisschop de stichting zelfs nooit goedgekeurd. *  De eerste abt was aanvankelijk niet geconfirmeerd, zelfs niet gewijd *  en toen dat eenmaal wel geregeld was, verzuimde de abt zijn plichten. Tot overmaat van ramp is de abdij tijdens de oorlog tussen Holland en bisschop Jan van Arkel in 1349 verwoest. *  Een herstelplan door het generaal kapittel van de orde voor de gevluchte monniken, mislukte mede door sabotage van de kant van de bisschop. Tenslotte moest het klooster helemaal afgebroken worden. In 1362 volgde de gedeeltelijke afwikkeling van de boedel. *  De instelling zelf was als communiteit inmiddels opgeheven.

De overgebleven cisterciënzer monniken woonden omstreeks 1391 in De Meern. Zij ontvingen toen grondbezit van de Utrechtse familie Tollenaer. Het verblijf in De Meern was echter tijdelijk. Arnold van Egmond (1340-1409) richtte enkele jaren later bij testament een nieuw cisterciënzer klooster op, nu als priorij en in de stad IJsselstein. Aldaar schonk hij ten behoeve van de nieuwbouw zijn eigen hofstede, plaats en erf te IJsselstein. Wanneer precies de stichtingsdatum valt, weet men niet, aangezien. het stichtingscharter al spoedig verloren is gegaan. *  Maar in 1395 keurde paus Bonifatius IX de stichting van de cisterciënzer priorij die toegewijd was aan de HH. Maria, Jan Baptist en Evangelist en Bernardus en die gevestigd werd op het perceel grond, dat inmiddels Onze Lieve Vrouwenberg heette, goed. *  Een jaar later, in 1396, was de conventskerk al in gebruik *  en kwam ook de toestemming tot de kloosterbouw af. *  Een rente van meer dan 100 Engelse nobelen per jaar uit de goederen genaamd Die Erfhueren van Arnold van Egmond te Berkel in Zuid-Holland vormde sinds 1399 de materiële grondslag van het klooster.

Pas in de jaren 1406 en 1409 volgde de incorporatie van het klooster van Onze Lieve Vrouwenberg in de cisterciënzer orde onder toezicht en visitatie door de abt van (Alten-) Camp (bij Rheinberg) met in 1409 een opsomming van de bevoegdheden van de prior. *  Onze Lieve Vrouwenberg (vaak ook Mariënberg genoemd) werd een van de drie cisterciënzer priorijen in de Nederlanden die een onderlinge band onderhielden. Sinds 1415/1417 maakte Onze Lieve Vrouwenberg samen met de priorij Mariënhaven te Warmond deel uit van de 'colligatie van Sibculo', zo genoemd naar de belangrijkste van die drie priorijen, n.l. die van Sibculo in Overijssel. *  Later nam het aantal priorijen van de 'colligatie van Sibculo' toe tot veertien. De prioren van de colligatie hielden telkenjare een bijeenkomst over wederzijdse visitatie en de beoefening van de observantie. De prioren gaven aldus leiding aan een georganiseerde observantiebeweging in de Nederlanden ter strenge onderhouding van de cisterciënzer regels. Zo werd b.v. ook de clausuur in de priorijen strenger nageleefd in de abdijen, des te strenger naarmate priorijen in of bij een stad lagen en ook was er dikwijls sprake van 'reformatie', een voortdurende kloosterhervorming in de vijftiende eeuw. Deze priorijen werden gekenmerkt door een bescheiden grondbezit, bestuur van elk klooster door een prior en de vervanging van veldarbeid door intellectuele arbeid. Deze 'armere' priorijen zoals ze officieus zelfs door het generaal kapittel van de orde genoemd werden, waren allemaal van veel jongere datum dan de grote abdijen, merendeels van rond 1400 of later en een aantal van de priorijen van de 'colligatie' of 'sociëteit' van Sion, waren zelfs dochterkloosters of anderszins afhankelijk van de priorij te IJsselstein.

Het klooster Onze Lieve Vrouwenberg telde een prior (met inhoudelijk dezelfde bevoegdheden als een abt, maar zonder diens waardigheidstekenen en benedictie-bevoegdheden) en 12 monniken, onder wie een supprior en een kelderweerder, benevens 6 lekenbroeders. De eerste monniken waren afkomstig uit de moederabdij van Camp. Te IJsselstein werden handschriften vervaardigd en het klooster bezat een uitgebreide bibliotheek die vergeleken met sommige andere cisterciënzer kloosters van aanzienlijke omvang was. *  Voorts waren de monniken/ of: was het klooster betrokken bij de IJsselsteinse armenzorg. Het IJsselsteinse klooster bleef sterk afhankelijk van de heer van Egmond-IJsselstein, wiens opvattingen echter convergeerden met de strenge priorijen onder meer wat betreft de beperking van de omvang van het toegestane kloostergoed in de heerlijkheid IJsselstein zelf. *  Pas in 1512 veranderde dit strenge karakter en kwamen de voordeeltjes in de vorm van allerlei vrijstellingen en de toestemming tot akkerbouw op hun landerijen en de vergunning van een eigen bakkerij en brouwerij zonder accijnsbetaling. *  Ook was inmiddels in strijd met de oorspronkelijke opzet het grondbezit sterk toegenomen, in het bijzonder in de heerlijkheid IJsselstein zelf.

Het klooster is meermalen verplaatst. *  Oorspronkelijk lag het sedert 1394-1396 tot en met 1482 in de wijk Nieuwstad (of Nieuwpoort) van de stad IJsselstein. In 1482 is het klooster door oorlogsgeweld vernietigd tijdens de Stichtse oorlog, waarin IJsselstein een belangrijke rol speelde.
Na omzwervingen zonder eigen tehuis vestigden de monniken zich in de periode 1485-1492 weer in een eigen klooster en wel in de Looi bij de IJsseldam of Nieuwedam ver ten zuiden van de stad in de buurt van de Lekdijk. Maar al in 1492 keerden de monniken definitief terug in de stad IJsselstein. Zij betrokken hun klooster in de Benschopperstraat, waarvan thans nog een gedeelte bestaat.

Ten gevolge van een rampzalige kloosterbrand in 1537 *  moesten de monniken een aantal jaren wonen in het huis Die Lumbaert (de Lombard) in de Weidstraat. *  Tot aan de hervorming ging daarna het kloosterleven ongestoord verder.
Op 27 oktober 1577 werd de kloosterkerk door de calvinisten in bezit genomen *  , en in 1578 een gedeelte van de kloostergebouwen gesloopt. De goederen werden geconfisqueerd en gevoegd bij de domeinen van Willem van Oranje, aan wie de baronie van IJsselstein toebehoorde, vanwege zijn huwelijk met Anna van Buren.
Het beheer van de baronie IJsselstein lag in handen van de rentmeester, onder hem vielen ook de kloostergoederen. Tot 1734 werden er afzonderlijke kloosterrekeningen bijgehouden. Rekeningen en beheer werden afgehoord door de Rekenkamer te Den Haag.