Klášter byl založen v roce 1491 správcem olomouckého biskupství Janem Filipcem, který je zde také pochován.
Ještě před dokončením kláštera, v době vrcholící luterské reformace ve městě v letech 1542-1544, byli mniši donuceni opustit objekt, který zůstal prázdný až do konce 16. století. K novému osazení kláštera došlo na počátku 17. století po vypuknutí povstání Štěpána Bočkaje v Uhrách. Tehdy se do Uherského Hradiště uchýlili mniši z blízkého kláštera ve Skalici na Slovensku a generální kongregace řádu Menších bratří v Brně dokonce roku 1611 přičlenila zdejší klášter k uherské provincii.
V roce 1646 byl požárem ve městě zasažen i klášter, o rok později došlo vlivem vichřice k dalšímu poškození objektu. K obnově dochází velmi pomalu a navíc byl klášter znovu zničen při požáru města v roce 1681. Teprve na počátku 18. století byla dokončena jak výstavba kláštera, tak jeho významná barokní úprava.
Celému souboru dominuje vysoká klášterní věž zastřešená barokizující bání. V přízemí je umístěna pamětní deska připomínající zbořenou kapli sv. Rozálie.
Vstupní průčelí kláštera - kvadratury je sevřeno mezi západní průčelí kostela a boční průčelí činžovního domu v ulici Františkánské. Hlavní vchod je orámován portálkem, v jehož tympanonu se nachází boltcová kartuše se znakem uherské františkánské provincie. Fasáda kvadratury je ploše pojatá, vyrůstá z průběžného soklu s obloukovou římsou, nahoře je uzavřena profilovanou římsou korunní.
Z jižní strany je vstup s pravoúhlým pískovcovým portálkem s nadsvětlíkem a reliéfní znak biskupa Jana Filipce, který sem byl druhotně umístěn. Západní i severní průčelí je rovněž v barokním stylu. Čtvercové nádvoří kvadratury je lemováno stěnami s vysokým pilastrovým řádem a pětinásobnou půlkruhovou slepou arkaturou ambitu. Celé přízemí je zaklenuto barokními lunetovými klenbami.
Pozoruhodný je barokní interiér slavnostního sálu refektáře, v němž jsou ústřední výzdobou klenby štuková oválná zrcadla s freskami Zvěstování P. Marie a s apotheosou sv. Františka, sv. Amanda a sv. Anny. Plocha klenby je zaplněna těžkým palmetovým ovocným a květinovým štukem i medailony s reliéfními postavami světců a andílků. K provedení této štukové výzdoby interiérů byl povolán italský architekt Baltazar Fontana a malíř Krištof Monti. V lunetách jsou olejomalby na plátně, po stranách vestavěné barokní skříně. Severní průčelí sálu je vyplněno obrazem Večeře Páně. Sál se právem řadí k nejlepším dochovaným barokním interiérům na Moravě. Jeho restaurování bylo dokončeno v roce 2000.
Ve svém souhrnu představuje soubor františkánského kláštera přitažlivou kulturní památku přesahující místní význam. V roce 1996 byla dokončena rekonstrukce objektu, jejíž kvalita byla oceněna udělením titulu Dům rok u 1996.
