No se sabe desde cuándo hay una iglesia en el emplazamiento actual del edificio, pero sí es cierto que en 1156 se dio, por el Papa, a los curas de Saint-Germain-des-Près la plena jurisdicción temporal y espiritual sobre las Iglesias de San Pedro y San Martín de la Cebada y del Oratorio de San Juan Bautista. Es en ese momento cuando se va a iniciar la organización de la primera parroquia que figura en ese emplazamiento. En 1180 se dedica la primera parroquia a San Sulpicio el Piadoso, Arzobispo de Bourges.
En el siglo XVI se comienza la nueva iglesia, que continúa durante los siglos siguientes, con el apoyo de la monarquía, en especial de Ana de Austria. Los primeros planos son del arquitecto Gamard, pero su construcción, como consecuencia del crecimiento de los barrios adyacentes, pronto se queda pequeña. Sin embargo, un problema entre el cura Olier y Gamard, apoyado este último por el Príncipe de Condé, a la sazón Regente de Francia, en relación al montante del costo del seminario adyacente y de la ampliación, retrasa los trabajos.
Al final se aprueba el presupuesto en 1645, reanudándose de inmediato los trabajos que se volvieron a interrumpir como consecuencia de la Fronda.