Destinado a recaudar el quinto de los metales que correspondían al Rey de España, fue construido por instrucciones del visitador José de Gálvez, tocó a Felipe Cleere, tesorero oficial real de esta Caja, y arquitecto aficionado, hacerse cargo del proyecto del inmueble, su edificación inició en 1764, como lo recuerda la inscripción en la clave de la puerta. Hoy es de los pocos ejemplares de arquitectura barroca de uso civil que sobreviven en la ciudad. Después de la independencia fue Comisaría, Aduana y residencia de algunos gobernadores y comandantes. Al erigirse el obispo de San Luis Potosí en 1854, el presidente Santa Anna cedió este edificio para Palacio Episcopal. Lo habitó el Ilmo. Sr. D. Pedro Barajas de 1855 a 1858. Ocupado también por los Ilmos. Sres. del Conde, Corona y Montes de Oca. También lo ocupo el seminario. En 1937, después de una desafortunada restauración, abrió aquí sus oficinas la Oficina Federal de Hacienda. Siendo declarado monumento nacional el 8 de junio de 1935.

Exterior: La fachada de este edificio barroco se realizó sobre la arista ochavada que al mismo tiempo que veía a la antigua parroquia, al oriente, lo hacía hacia la Casa de Moneda - también de fachada ochavada- en la esquina contraria, o su mirada se prolongaba hasta San Miguelito, al sur. El derroche de su cantera labrada se complementa y contrasta, acertadamente con la austeridad y limpieza de sus muros. Arriba del balcón principal se encuentra el Escudo de Armas del Ilmo. Sr. Montes de Oca, último obispo que lo habitó: en el nicho abierto, de medio punto, una hermosa escultura tequitqui, en piedra, de la Purísima, obsequio del rey Carlos III de España a la ciudad: remata en una graciosa moldura de cantera que descansa sobre las columnas del segundo cuerpo y sirve de base a la cruz de Lorena que se levanta en la cima y a las cuatro ágiles espirales. Ocupado desde 1960 por dependencias de la Universidad, actualmente es el Centro Cultural Universitario