Il naît à Pise le 28 octobre 1876.
Ses parents se séparent rapidement, ce qui lui laisse une profonde nostalgie qui restera présente tout au long de sa vie. Il reste cependant en relation avec ses deux parents et parvient à les réconcilier à la veille de leur mort. Il fréquente le lycée de Pise, où il fait la connaissance du savant catholique Giuseppe Toniolo.
Malgré les résistances de son père, il entre chez les Carmes Déchaussés en 1898 et fait ses vœux religieux en décembre 1899. En 1901, il est ordonné prêtre.
Il est nommé consulteur du "Saint-Office" en qualité de coadjuteur et de successeur de Mgr Steiaert, qui était carme. Il est ensuite nommé visiteur de plusieurs diocèses et séminaires. Le 25 mai 1920, il est consacré évêque. C'est le pape Benoît XV qui le choisit personnellement comme évêque de Volterra. Il fit tout ce qu'il put pour éviter cette nomination en faisant appel au pape lui-même, invoquant sa condition de religieux non préparé à une tâche aussi élevée. Cependant, ses arguments ne servirent à rien face à la ferme résolution du Pape. Dans la ville toscane, l'activité de Rossi est principalement orientée vers le soin du séminaire et des nouveaux prêtres. Il était convaincu qu'il fallait absolument préparer les prêtres à affronter le nouveau siècle.
Transféré à Rome comme conseiller du Consistoire, comme était appelée alors la Congrégation des Évêques, et nommé archevêque titulaire de Thessalonique, il se voit confier d'autres tâches délicates : consulteur des séminaires d'études, de la Secrétairerie d'État, des religieux, des rites. Le pape Pie XI, après l'heureuse conclusion du concordat entre le Saint-Siège et l'Italie, voulut le récompenser et lui conférer la pourpre cardinalice en 1930.
Après quelques mois, il est nommé secrétaire du Consistoire. Malgré ses nominations à la curie, Rossi a essayé autant que possible de maintenir la vie ascétique propre aux Carmes Déchaux. Les affectations des Papes Pie X, Benoît XV, Pie XI et Pie XII furent nombreuses et variées, en particulier à la Congrégation pour les Causes des Saints. Tout au long de ces années, il se consacre également au soin des émigrés. Ce souci se manifesta, en particulier, lorsqu'il fut nommé conseiller du Consistoire et qu'on lui confia la congrégation religieuse des Scalabriniens fondée par le bienheureux Jean-Baptiste Scalabrini. Celle-ci avait été créée dans l'Église afin de former des missionnaires pour l'assistance spirituelle des migrants dans différentes parties du monde. La jeune congrégation des Scalabriniens traversait une période de crise et il fit de son mieux pour la soutenir.
Son action fut si efficace qu'il fut presque considéré comme le second fondateur de la congrégation. Son activité sociale et caritative se développe pendant la période de la guerre, lorsqu'il doit s'occuper de l'assistance aux personnes déplacées à travers les organisations pontificales du POA et de l'ONARMO. Aux yeux de tous, cette intense activité caritative semblait réconcilier cet ascétique homme de la Curie avec les enseignements de son maître, le sociologue Giuseppe Toniolo.
En août 1948, en raison de l'aggravation de certaines maladies, il se rendit à Crespano del Grappa chez les religieux Scalabriniens en espérant une guérison générale favorisée par le climat et le contact avec la nature.
Il meurt dans la nuit du 16 au 17 septembre 1948 à l'âge de 71 ans.
Le procès de béatification et de canonisation pour sa "vie, ses vertus et sa réputation de sainteté" est actuellement étudié par la Congrégation pour la Cause des Saints.
