Fu il cardinale Giuseppe Ercolani a progettare il palazzo e i portici nella metà del 1700.
La tradizione vuole che nel 1200 proprio in questa zona della città furono portate le reliquie di Maria Maddalena che vengono ricordate per il forte pellegrinaggio che ne derivò.
Fu in seguito a questo evento che nacque la Fiera della Maddalena ancora oggi organizzata dalla città a fine agosto. I portici sono costituiti da 126 arcate che costeggiano il fiume Misa.
Nel palazzo Ercolani, che ha le raffigurazioni dipinte dell’Eneide, vi è uno strano personaggio, una sorta di sacerdote con un mantello rosso e con una spada con la quale segna a terra delle tracce.