All’epoca era nota come Miliarum. Una zona della Campania Felix ai piedi di Casa Hirta, in pianura, dove il vescovo Vitaliano di Capua scelse di rifugiarsi da eremita nell’VIII secolo.
Lì, in quella che è la frazione Casola della Caserta di oggi, sorse un eremitaggio, divenuto ben presto punto di riferimento per i numerosi miracoli attribuiti al religioso, già in odore di santità. Fu proprio il futuro Santo a costruire il complesso che avrebbe preso il suo nome. Uno spazio ristretto, delimitato da mura di pietra, raggiungibile ancora oggi attraverso un sentiero di campagna lungo il quale s’incontrano varie cappelline dedicate al fondatore.
Elemento centrale e fondamentale è la chiesa, a pianta rettangolare, formata da un ampio presbiterio e da una cantoria dove, in una nicchia nella parete è collocata una statua del Santo.  All’interno dell’edificio sacro si trova, poi una cappellina il cui altare in stucco è sormontato da un’immagine della Madonna del Rosario. All’esterno, c’è un portico a tre archi di cui quello centrale immette nell’ingresso della chiesa, mentre i due laterali introducono alle celle dei monaci. Completa la struttura un campanile, che partecipa all’armonia estetica complessiva dell’eremitaggio. 
Citato per la prima volta in una bolla del 1113 con cui l’arcivescovo di Capua indicava al nuovo vescovo Rainulfo le chiese della sua diocesi, nel 1700 l’edificio è indicato in un altro documento come malmesso e decadente. Fu solo nel 2001 che vennero avviati i lavori di restauro, che hanno restituito ad ogni elemento del complesso architettonico il suo splendore originario. Di particolare valore il ripristino della copertura a capriate della chiesa, l’eliminazione di tutte le sovrapposizioni ornamentali e il recupero delle mura.