De Orde van het H. Kruis werd gesticht rond 1210 in het plaatsje Hoei, nabij Luik aan de Maas. De kruisheren zijn reguliere kanunniken: zij verzorgen als kloostergemeenschap de eredienst in een kapel en beoefenen pastorale taken in de omgeving. Vanaf 1371 waren de kruisheren in Brabant aanwezig in Sint Agatha nabij Cuijk. In 1470 begonnen vijf kruisheren in Den Bosch een klooster, toegewijd aan de Heilige Catharina. De communiteit bloeide en de paters droegen zorg voor het pastoraat. De door hen nieuw gebouwde Kruis- of Catharinakerk werd verheven tot parochiekerk. De situatie voor de religieuzen in Den Bosch veranderde drastisch in 1629. Uitgerekend op 14 september, het feest van Kruisverheffing, een hoogfeest voor de kruisheren, werd de stad na maandenlang beleg ingenomen door de troepen van Frederik Hendrik. Alle mannelijke kloosterlingen moesten binnen twee maanden de stad verlaten. De kruisheren vestigden zich korte tijd in Schijndel. Toen echter de Staten-Generaal in 1636 een verbod uitvaardigden voor religieuzen in de hele Meijerij van Den Bosch, trokken zij naar Uden. Deze plaats behoorde al sinds de 14e eeuw tot het Land van Ravenstein, één van de Brabantse enclaves waar de Staten-Generaal niets te vertellen hadden.

De kruisheren betrokken in Uden aanvankelijk een boerderij op de Bitswijk. In 1652 kregen zij toestemming om een klooster te bouwen op de Vorstenburg, rustig gelegen aan de rand van de stad. De kruisheren kregen steeds meer bemoeienis met de plaatselijke kapel van O.L. Vrouw ter Linden, waarvan al in de 14e eeuw sprake was. Volgens de overlevering zou hier een Mariabeeld gevonden zijn in een oude lindeboom. Dit werd gezien als een teken van goddelijke uitverkiezing van deze plek. Maria werd er vereerd om vruchtbaarheid te geven aan mens, vee en akkers. De kruisheren zetten zich in voor deze Mariaverering. Het financiële voordeel van de zorg voor een dergelijke devotieplek kwam hen daarbij niet ongelegen: hun bezittingen in de Generaliteitslanden werden in 1658 geconfisqueerd. In 1667 erkende de Kerk een miraculeuze genezing op voorspraak van O.L. Vrouw ter Linden. De kerkelijke goedkeuring van de devotie bevorderde de toeloop. Het aantal bedevaartgangers nam toe, individueel en in groepsverband, zeker toen het kerkelijk gezag in Rome aan de bedevaart naar Uden aflaten verbond. De bedevaartplaats trok niet alleen mensen uit Uden, maar ook veel katholieken uit de Generaliteitslanden, die in eigen gebied nergens ter pelgrimage konden gaan.

In 1674 werd de zorg voor de kapel officieel aan de kruisheren toevertrouwd. In de daaropvolgende decennia kregen zij, met steun van landsheer Johan Willem van Neuburg, ook het recht op de inkomsten die aan de kapel waren verbonden. Bovendien verkregen de kruisheren toestemming om naast de kapel een nieuw klooster te bouwen. Deze locatie was met het oog op de dagelijkse zorg voor de kapel veel geschikter dan de Vorstenburg. Rond 1700 werd het nieuwe klooster opgetrokken. Tien jaar later volgde een nieuwe achthoekige devotiekapel.

In de nieuwbouw van het klooster vestigden de kruisheren in 1743 een Latijnse school, bedoeld om priesters op te leiden - natuurlijk bij voorkeur tot kruisheer - of studenten voor te bereiden op universitaire studies. De stichter en eerste rector van de school was Waltherus Peynenburg, die zelf in Leuven had gestudeerd. De school had een goede naam en voldoende leerlingen om lange tijd te blijven voortbestaan: in 1814 waren het er meer dan 100. Daarna nam het aantal af en in 1841 was er geen kruisheer meer beschikbaar voor het ambt van rector. De wereldheer Antonius van den Berg vervulde deze rol tot aan de opheffing van de school in 1879.

De kruisheren wilden echter graag opnieuw jongens tot priester kunnen opleiden. In 1886 lukte het om een eigen college te starten: het College van het H. Kruis, gehuisvest in een nieuw gebouw bij het klooster. Hoewel de school van belang was voor de aanwas van kruisheren, had deze in principe het karakter van een vrij priestercollege. Veel priesters, zowel wereldheren als kloosterlingen, hebben in de 20e eeuw hun eerste vorming in Uden gehad. In de eerste vijftig jaren zijn 650 studenten van het college tot priester gewijd.

Aanvankelijk woonden de leerlingen van het college extern, in kosthuizen te Uden. Door de grote aanwas van leerlingen werd het onderbrengen in goede kosthuizen moeilijker en werd de wens om hen in een internaat bij elkaar te brengen sterker. Die wens werd in 1922 vervuld met nieuwbouw van het college, naast kapel en klooster. Kort daarop volgde nog een uitbreiding. Uiteindelijk was in 1925 een kloek gebouw gereed met klaslokalen, een studiezaal, een eetzaal, drie slaapzalen, pianokamertjes, spreekkamers en al wat er in zo'n internaat nodig was.

Het oude kruisherenklooster werd in het begin van de 20e eeuw afgebroken. De Roermondse architect Caspar Franssen bouwde op dezelfde plaats een nieuw klooster en kapel, opgetrokken in neogothische stijl in rode baksteen. Van 1905 tot en met 2009 leefden hier de Udense kruisheren. Zij zorgden voor het pastoraat en voor de liturgie in de kapel, voor het onderwijs op het college en voor het katholieke maatschappelijk leven in stad en omgeving.

In 2009 werd het klooster gesloten en verkocht aan de zorginstelling Brabant Zorg. In samenwerking met Brabant Zorg werden voor de kruisheren zorgappartementen gebouwd in de voormalige tuin van het klooster. Ook het eigendom van de kapel ging over naar de zorginstelling. Een beheerstichting waarin zowel de kruisheren als de nieuwe eigenaar vertegenwoordigd waren, regelde daarna de activiteiten in dit gebouw. Het College van het H. Kruis maakte inmiddels deel uit van het Udens College.