Nel 1798 indossò l'abito talare e si diede ad organizzare opere di assistenza spirituale e materiale a favore dei bisognosi. Si deve a lui la rinascita dell'Opera di S. Galla, della quale fu eletto direttore nel 1806.
Ordinato sacerdote il 31 luglio 1808, intensificò l'apostolato fra le classi popolari fondando il primo oratorio in S. Maria in Pincis e specializzandosi nell'evangelizzazione dei “barozzari”, carrettieri e contadini della campagna romana, che avevano i loro depositi di fieno nel Foro Romano, chiamato allora Campo Vaccino.
Fra il 1809 ed 1810, dopo che Napoleone Bonaparte aveva occupato Roma, Gaspare, fedele a Papa Pio VII (1800-1823) e alla Chiesa romana, rifiutò di prestare giuramento di fedeltà all'Imperatore («Non debbo, non posso, non voglio», disse laconicamente). Seguì, quindi, la sorte del suo pontefice e fu costretto all'esilio dapprima a Piacenza e poi, imprigionato a Bologna, Imola e Lugo.
Tornato a Roma nei primi mesi del 1814, dopo la caduta di Napoleone, mise le sue forze e la sua vita al servizio del papa.
Pio VII gli diede l'ordine di dedicarsi alle missioni popolari per la restaurazione religiosa e morale dell'Italia e Gaspare abbandonò la città, la famiglia ed ogni altro suo progetto per dedicarsi totalmente al ministero assegnatogli, al quale attese per tutto il resto della sua vita, con zelo instancabile. Quale mezzo efficacissimo per promuovere la conversione dei peccatori, per debellare lo spirito di empietà e di irreligione, scelse la devozione al Sangue Preziosissimo di Gesú e ne divenne ardentissimo apostolo.
Per meglio raggiungere il suo nobile intento, il 15 agosto 1815 fondò la “Congregazione dei Missionari del Preziosissimo Sangue”, a cui si iscrissero uomini di grande santità, come il Servo di Dio Giovanni Merlini (1795-1873), Giovanni Mastai Ferretti (il futuro beato Papa Pio IX, 1792-1878), Biagio Valentini, Vincenzo Tani ed altri ancora, morti in concetto di santità.
Nel 1834, inoltre, diede inizio all'Istituto delle “Suore Adoratrici del Preziosissimo Sangue”, coadiuvato da suor Maria De Mattias (1805-1866), canonizzata il 18 maggio 2003, che egli stesso aveva chiamato a tale missione. Le due famiglie religiose trovarono il terreno fecondatore nella “Pia Unione del Preziosissimo Sangue”, oggi “Unio Sanguis Christi”, che, insieme con don Francesco Albertini (1770-1819), altro grande resistente antinapoleonico che seguì il Papa nell’esilio, Gaspare aveva istituito fin dal 1808, a vantaggio di tutti i fedeli, e che si era propagata in Italia e all'estero.
L'apostolato di Gaspare, segnato da fatiche e sofferenze non comuni, benedetto da Dio con frequenti manifestazioni soprannaturali, fu di enorme efficacia. Al suo passaggio fiorivano la fede e la pietà cristiana, cessavano gli odi e il malcostume, si verificavano strepitose conversioni. Sostenne con straordinario coraggio la lotta accanita che gli mossero le società segrete, in particolare la massoneria. Ma nonostante le loro minacce e gli attentati alla sua stessa vita, non cessò mai di predicare apertamente contro tali sette, fucine di rabbioso laicismo ateo; convertì intere logge massoniche e non si stancò di mettere in guardia il popolo contro la loro propaganda satanica. Per questo era chiamato col titolo glorioso di “martello dei settari”. Chiamato dai fedeli Angelo della pace, Terremoto spirituale, Vittima della carità, Gaspare ispirò la sua azione a quella di San Francesco Saverio (1506-1552). È ricordato anche come il predicatore dei briganti, ovvero dei malavitosi che andò ad evangelizzare e a convertire nei rifugi sui monti posti fra il Lazio e la Campania.
Quando morì, san Vincenzo Pallotti (1795-1850) vide la sua anima salire al cielo in forma di stella luminosa e Gesù venirle incontro.
Papa san Pio X lo dichiarò beato nel 1904 e il Servo di Dio Papa Venerabile Pio XII (1939-1958) lo ha canonizzato nel 1954. Papa san Giovanni XXIII (1958-1963), lo ha definito «gloria tutta splendente del clero romano, che fu il vero e più grande apostolo della devozione al Preziosissimo Sangue di Gesù nel mondo».