Nació en 1698, en un pueblo cerca de Génova, Italia. En el Colegio Romano hizo estudios con gran aplicación, ganándose la simpatía de sus profesores y compañeros. Fue ordenado sacerdote a los 23 años.
Pronto aprendió que la verdadera mortificación consiste en aceptar los sufrimientos y trabajos de cada día, esforzándonos al máximo de nuestras capacidades y posibilidades.
Tenía una fuerte inclinación por los pobres, los enfermos y los abandonados. El Sumo Pontífice había fundado un albergue para recibir a las personas desamparadas.
En ese lugar, el Santo atendió por muchos años a los pobres y necesitados, además de enseñarles el catecismo y prepararlos para recibir los sacramentos.
San Juan Bautista Rossi descubrió la plenitud de su vocación en el confesionario. Rápidamente vio y entendió que Dios le había hecho el llamado especial a ser confesor.
Al volver a Roma le comentó a un amigo cercano: "Antes, yo me preguntaba cuál sería el camino para lograr llegar al Cielo y salvar muchas almas. Y he descubierto que la ayuda que puedo dar a los que se quieren salvar, es confesarlos. ¡Es increíble el gran bien que se puede hacer en la confesión!"
Consagró su vida a llevarle el perdón y la misericordia de Dios a los más necesitados. Visitó principalmente cárceles y hospitales.
El 23 de mayo del año 1764, sufrió un ataque al corazón y murió a la edad de 66 años.
La estimación por él en Roma era tan grande, que a su funeral asistieron 260 sacerdotes, un arzobispo, muchos religiosos e inmenso gentío.
La Misa del Réquiem la cantó el coro pontificio de la Basílica de Roma.