Abd al-Rahmân I hizo edificar la Mezquita cerca de la parte occidental de su palacio, a la salida del puente romano que separa Córdoba de los «suburbios». El edificio, de planta cuadrada, se divide en dos espacios, el del patio y el de la sala de oración compuesta, en la época de su construcción, de once naves perpendiculares al muro qibli.
En el interior de este modelo, la gran innovación fue la adopción de un sistema de arcos superpuestos para las arcadas que determinan las naves, arco de herradura en el nivel inferior, de medio punto para la parte superior, quizás influenciado por los acueductos romanos como el de Mérida. Esta técnica hace del arco superior un arco de descarga del tejado; además, la superposición genera una sala de oración alta y espaciosa y pone de relieve las columnas del nivel inferior. El acceso al edificio, además de las diferentes puertas del patio utilizadas por los fieles, se hace por una entrada situada en el muro occidental: Bâb al-Wuzarâ (Puerta de los Visires), conocida igualmente con el nombre de Puerta San Esteban, reservada al soberano y su corte.
La primera extensión de la Mezquita consistió en prolongar las once naves hacia el sur, implicando la demolición del muro qibli, cuyo emplazamiento primitivo se indica mediante pilares más espesos que corresponden a los contrafuertes exteriores, todavía visibles en el interior de la Mezquita. El sistema de arcos superpuestos se ha mantenido. Después de la instauración del califato en 929 por ‘Abd al-Rahmân III, Córdoba se convirtió en la capital de un Estado poderoso. Las obras se retomaron con la idea de hacer de la Mezquita un edificio de acuerdo con la dignidad del Califato. Se le añadió un gran minarete y se remodeló la fachada que daba al patio.
Con al-Hakam II, en 962-968, las obras se concentraron en el interior de la sala de oración, que fue agrandada de nuevo hacia el sur mediante la creación de doce naves, que se añadieron a las once ya existentes. Fue el agrandamiento más suntuoso de la Mezquita. Una gran cúpula nervada con linternón de piedra, situada en el sitio donde se alzaba el antiguo mihrab de ‘Abd al-Rahmân II, marca el acceso a la nueva extensión que encuentra su punto culminante, si se sigue el eje de la nave central, con las tres grandes cúpulas situadas delante del nuevo mihrab, verdadera pieza cubierta de una cúpula en forma de concha. Este dispositivo introduce en la mezquita una especie de planta en T, en la medida en que separa del resto el espacio de la maqsûra reservado al califa. Aparecen entonces nuevas fórmulas arquitectónicas, como la de los arcos polilobulados, arcos entrecruzados y cúpulas montadas sobre nervaduras. Además, se tomó la decisión de revestir enteramente los paramentos, con paneles esculpidos o mediante una deslumbrante decoración de mosaicos de vidrio con fondo de oro, aportados de Bizancio y colocados sin duda con la ayuda de artesanos bizantinos.
La última ampliación de la Mezquita, menos cuidada, fue decidida por el primer ministro al-Mansûr en 988. Con el fin de duplicar la superficie, se añadieron ocho naves en toda su longitud, ensanchando de hecho el patio en su lado oriental e implicando un descentrado de la sala de oración respecto al miḥrāb ya establecido. Recordaremos sobre todo como rasgo característico la solución que consistió, por necesidad funcional, en sustituir el arco inferior de herradura por arcos polilobulados o quebrados.
La Gran Mezquita constituye una síntesis del arte islámico y de la herencia romana: las cuatro fases de construcción se caracterizan por la utilización para las arcadas de un doble sistema de estructuras portadoras: columnas terminadas con pilares.
