Nacque a Pisa il 28 ottobre 1876.
Ben presto i genitori si separarono lasciando in lui una profonda nostalgia che si rifletté su tutta la vita. Mantenne comunque i contatti con entrambi i genitori e riuscì a farli riconciliazione alla vigilia della loro morte. Frequentò gli studi superiori a Pisa, dove conobbe lo studioso cattolico Giuseppe Toniolo.
Anche se ostacolato da suo padre, nel 1898 entrò tra i frati carmelitani scalzi ed emise i voti con la professione religiosa nel dicembre 1899. Nel 1901 fu ordinato sacerdote.
Fu nominato consultore dell'allora "S. Ufficio" in qualità di coadiutore e successore del vescovo carmelitano Mons. Steiaert. Seguirono la nomina di visitatore di alcune diocesi e seminari. Il 25 maggio 1920 venne consacrato vescovo. Fu il Papa Benedetto XV che lo scelse personalmente quale vescovo di Volterra. Egli fece di tutto per deviare la nomina ricorrendo allo stesso Pontefice, adducendo come difficoltà la sua condizione di religioso impreparato ad un compito così alto. A nulla però valsero le sue ragioni, dinanzi alla volontà risoluta del papa. Nella città toscana l'attività del Rossi si diresse primariamente alla cura del seminario e dei novelli sacerdoti, convinto, com'era, della necessità di sacerdoti preparati per il nuovo secolo.
Trasferito a Roma in qualità di assessore della Concistoriale, così si chiamava la odierna Congregazione dei Vescovi, e nominato arcivescovo titolare di Tessalonica, gli furono conferiti altri delicati incarichi: consultore dei seminari degli studi, della segreteria di stato, dei religiosi, dei riti. Papa Pio XI, dopo la positiva conclusione del concordato tra la S. Sede e l'Italia, lo volle premiare, nel 1930, con il conferimento della porpora cardinalizia.
Dopo qualche mese fu nominato segretario della Concistoriale. Nonostante gli incarichi di curia il Rossi cercò il più possibile di conservare la vita ascetica propria dei carmelitani scalzi. Gli incarichi dei Pontefici Pio X, Benedetto XV, Pio XI e Pio XII, furono molteplici e numerosi, in particolare la Congregazione per le cause dei santi. In questi anni si dedicò anche alla cura degli emigranti. Tale interesse nacque, in particolare, quando fu nominato assessore della Concistoriale ed ebbe l'incarico di seguire la congregazione religiosa degli Scalabriniani fondati dal beato Giovanni Battista Scalabrini. Questa era nata in seno alla Chiesa per la formazione dei missionari preposti all'assistenza spirituale degli emigranti nelle diverse parti del mondo. La neonata congregazione Scalabriniana soffriva una certa crisi ed egli cercò di adoperandosi per rilanciarla.
Il suo intervento fu talmente efficace che egli fu considerato quasi un secondo fondatore della congregazione. Tale attività socio-caritativa si sviluppò durante il periodo bellico, quando, tramite gli organismi pontifici della POA e dell'ONARMO, dovette occuparsi dell'assistenza agli sfollati. Questa intensa attività caritativa sembrò riconciliare agli occhi dei più questo ascetico uomo di curia con l'insegnamento del suo maestro, il sociologo Giuseppe Toniolo.
Nel mese di agosto del 1948, a causa dell'aggravarsi di alcune malattie, si recò a Crespano del Grappa presso i religiosi Scalabriniani sperando in una ripresa generale favorita dal clima e dal contatto con la natura.
Morì la notte del 16 e 17 settembre 1948 all'età di 71 anni.
Attualmente il processo di beatificazione e canonizzazione per la "vita, virtù e fama di santità", è in fase di studio presso la Congregazione delle cause dei Santi.
