Cette rue est présente sur les [[plans de Paris en 1760 et 1771]]. Elle allait alors jusqu'à la [[rue des Saints-Pères]], avant le percement du [[boulevard Saint-Germain]].
On y trouvait, dans cette partie supprimée, l'ancien [[hôtel Matignon (ancien)|hôtel Matignon]]. Le percement du [[boulevard Raspail]] et de la [[rue de Luynes]] ont supprimé l'[[hôtel de Luynes]].
Plus anciennement elle a porté de nombreux noms : chemin de la Longue Raye, chemin des Treilles, chemin Herbu, chemin du Moulin à Vent, chemin de l'Oseraie, chemin du Port, chemin des Vaches, chemin de la Justice, chemin des Charbonniers ...