Nasceu em Pisa, em 28 de outubro de 1876.

Seus pais se separaram muito cedo, deixando nele uma profunda nostalgia, que se refletiu em toda a sua vida. Manteve, porém, os contatos com ambos e conseguiu fazê-los reconciliar-se às vésperas de sua morte. Fez os estudos superiores em Pisa, onde conheceu o estudioso católico Giuseppe Toniolo.

Apesar dos obstáculos colocados pelo pai, entrou nos carmelitas descalços em 1898 e emitiu os votos com a profissão religiosa em dezembro de 1899. Foi ordenado sacerdote em 1901.

Foi nomeado consultor do então “Santo Ofício” na qualidade de coadjutor e sucessor do bispo carmelita Monsenhor Steiart. Depois disso, foi nomeado visitador de algumas dioceses e seminários. Em 25 de maio de 1920 é consagrado bispo. Foi o Papa Bento XV que o escolheu pessoalmente para bispo de Volterra. Fez de tudo para esquivar-se à nomeação, recorrendo ao próprio pontífice, alegando como dificuldade a sua condição de religioso despreparado para uma missão tão grande. De nada valeram as suas razões diante da vontade resoluta do Papa. Na cidade toscana, a atividade de Rossi dirigiu-se primariamente ao cuidado do seminário e dos neossacerdotes, convicto como estava da necessidade de sacerdotes preparados para o novo século.

Transferido a Roma na qualidade de assessor da Concistorial – assim se chamava a moderna Congregação dos Bispos – e nomeado arcebispo titular de Tessalônica, foram-lhe conferidos outras delicadas missões: consultor dos seminários de estudos, da Secretaria de Estado, da Congregação dos Religiosos e dos Ritos. Pio XI, após a positiva conclusão da concordata entre a Santa Sé e a Itália, quis premiá-lo, conferindo-lhe a púrpura cardinalícia em 1930.

Depois de alguns meses foi nomeado secretário da Concistorial. Apesar dos encargos da Cúria, Rossi procurou conservar o máximo possível a vida ascética própria dos carmelitas descalços. Os encargos dos Papas Pio X, Bento XV, Pio XI e Pio XII foram diversificados e numerosos, em particular a Congregação para as Causas dos Santos. Nesses anos dedicou-se também ao cuidado com os imigrantes. Tal interesse nasceu, em particular, quando foi nomeado assessor da Concistorial e encarregado de acompanhar a Congregação dos scalabrinianos, fundada por São João Batista Scalabrini. Esta nascera no seio da Igreja para a formação de missionários que estivessem ao lado dos imigrantes nas diversas partes do mundo. A recém-nascida Congregação Scalabriniana estava passando por uma certa crise e ele buscou empenhar-se para reanimá-la.

Sua intervenção foi tão eficaz que Rossi foi considerado quase um segundo fundador da Congregação. Tal atividade sociocaritativa aconteceu durante o período da guerra, quando, através dos organismos pontifícios da POA e da ONARMO, teve que ocupar-se da assistência aos refugiados. Essa intensa atividade caritativa pareceu reconciliar, aos olhos dos demais, o ascético homem da Cúria com o ensinamento de seu mestre, o sociólogo Giuseppe Toniolo.

No mês de agosto de 1948, por causa do agravamento de algumas enfermidades, dirigiu-se a Crespano del Grappa, junto aos religiosos scalabrinianos, esperando uma recuperação geral favorecida pelo clima e o contato com a natureza.

Morreu na noite de 16 para 17 de setembro de 1948, aos 71 anos.

Atualmente o processo de beatificação e canonização pela “vida, virtudes e fama de santidade” está em fase de estudo na Congregação para as Causas dos Santos.