Existió, antes de que la que conocemos, una puerta del siglo XVII. Estaba situada más cerca de la Plaza de Cibeles, construida en ladrillo entre 1636 y 1639. Tenía un arco central de gran tamaño y dos laterales más pequeños. Se derribó en 1764 para ampliar la calle con terrenos del Retiro. Catorce años después, varios arquitectos presentaron nuevos proyectos para levantar un nuevo monumento.
El ganador fue Francisco Sabatini, quien diseñó una construcción de granito con cinco arcos rematados por cabezas de leones. Estos motivos se realizaron con la piedra caliza traída de Colmenar, al igual que los que decoran el resto del monumento, obra de Francisco Gutiérrez y Roberto Michel. En la Puerta de Alcalá puede leerse una inscripción en latín por ambos lados que recuerda la figura del ‘rey-alcalde’: «Rege Carolo III Anno MDCCLXXVIII». Es decir, Rey Carlos III, año 1778.