A Rouen, c’est grâce à l’archevêque Eudes Rigaud, grand ami de saint Louis, qu’un monastère fut ouvert pour ces religieux. Il devint vite très influent dans la cité.
En 1260, des Carmes s’établissaient dans une chapelle située dans le faubourg St-Sever, la chapelle St-Yves. La rive gauche où ils résidaient était souvent menacée par les. Suite à de fréquents dégâts dus aux crues de la Seine, ils obtinrent, en 1336, de l’archevêque de Rouen, Pierre Roger de Beaufort Ier, le futur pape Clément VI, un emplacement plus vaste et plus sûr pour leur couvent, sur la rive droite, dans la paroisse de St-Lô.

Une chapelle, modeste sanctuaire dédié à sainte Apolline, était autrefois un oratoire de porte. Une ancienne porte située tout à côté et visible sur un dessin de Jacques Le Lieur est ainsi appelée. C’était la plus ancienne porte Beauvoisine.
Elle a été cédé cédée aux religieux. A côté, se trouvait une petite maison destinée à les loger.
Petits propriétaires au début du XIV^e siècle, les Carmes s’étendirent peu à peu aux alentours, jusqu’à l’hôtel de Sées, un domaine dont ils acquirent la partie occidentale en 1381. pendant toute cette période, la protection royale ne leur manqua pas. Lorsque St-Louis donna l’emplacement des anciens fossés pour construire des maisons pour les pauvres, il fit bien préciser “que ces maisons soient basses et sans cheminées, afin de ne pas incommoder les dortoirs des religieux”.
Au XV^e siècle, la protection de Jean de Lancastre, duc de Bedford, obtenue grâce au théologien anglais Thomas Netter permit au Carmes de se développer notablement. Ils construisirent en 1428 une nouvelle église conventuelle, Notre-Dame des Carmes, avec une nef unique, voûtée de bois, munie d’un petit clocher en son milieu, et un cloître.
Le monastère des Carmes fut le siège de confréries. Celle des brodeurs-chasubliers était dans la chapelle St-Clair de l’église. Celle de l’Immaculée Conception (ou Puy des “Palinods”) demeure la plus illustre. Elle se réunissait aux carmes depuis 1515, après s’être réunie dans l’église paroissiale St-Jean. Le 8 décembre, les lauréats du Puy des “Palinods”, y étaient couronnés pour leurs meilleures pièces de poésie en l’honneur de la Vierge.
Le cardinal Georges I^er d’Amboise prit pour suffragant un religieux carme de Rouen, élevé évêque in partibus de Philadelphie, Henri Potin. Il bénit la tour de Beurre de la cathédrale de Rouen en 1496 et fut inhumé dans le chœur de l’église.
Le plan Gomboust (1655) montre la disposition du monastère. Les Carmes occupaient alors un espace compris entre l’ancienne muraille gallo-romaine au nord et la rue de la Chaîne au sud. Le cloître était au centre. Comme d’habitude, les bâtiments conventuels l’entouraient. Le dortoir devait se trouver au nord, appuyé sur l’antique muraille de la ville. Un jardin s’étendait vers l’est.
Elle apparaît sur l’une des bandes du fameux Livre des Fontaines de Jacques Le Lieur (en 1525 c’était encore la chapelle Ste-Appoline) et sur le plan Gomboust. Elle se situait entre les bâtiments monastiques et la rue des Carmes (ancienne rue Grand-Pont qui avait prit le nom de la communauté), limitée au sud par la rue de la Chaîne.
Les dimensions étaient assez imposantes. Elle devait occuper à peu près tout l’espace qui forme maintenant la partie occidentale de la place des Carmes, soit une longueur de près de cinquante mètres.