Sous l'Ancien Régime, cet axe rejoint le ville de Sèvres en passant par Montreuil. Il est visible sur les plans de la ville sous les dénominations "vieux chemin de Montreuil" ou "chemin de Sèvres à Montreuil". Il est également appelé chemin de Madame, en référence à la propriété de la comtesse de Provence située dans cette rue.

Cette voie est baptisée rue de la Vieille-Église en 1828 car elle mène à l'église située à l'extrémité de Montreuil, côté Viroflay, qui est remplacée sous Louis XV par l'église Saint-Symphorien. Même si rien ne subsiste de la vieille église, le nom continue à être utilisé.

Sous la IIIème République, cet axe ressemble plus à un chemin qu'une rue.