Nació en el flamenco barrio de Santiago, en Jerez de la Frontera, es miembro de una saga de cantaores. De niño cantó en la escolanía de la Basílica de la Merced de Jerez, de donde Antonio Gallardo le da su nombre artístico. En 1968 se marchó a Madrid para grabar su primer disco, acompañado a la guitarra por Manolo Sanlúcar y Paco de Lucía. Posteriormente y hasta 1983 trabaja en la compañía de Antonio Gades. En esta etapa participa en las películas Bodas de sangre y Flamenco, de Carlos Saura.

De la mano del compositor y productor Manuel Sánchez Pernía, José Mercé se consolida como artista de referencia en el panorama flamenco, gracias al disco Verde Junco, en el que colaboraron artistas del calibre de Tomatito, Enrique de Melchor y Rafael Riqueni.

Tras unos años alejado de los escenarios volvió a la escena con el disco 'Del Amanecer...', producido por Vicente Amigo. Su actuación en el Teatro Real (siendo el primer gitano que actúa en el mismo) representa un avance importante en su carrera, pasando a ser el cantaor flamenco más conocido por el gran público. Desde entonces se ha atrevido a innovar mezclando flamenco con blues, martinete balcánico o cantando con autores como Alejandro Sanz.

Su último disco, de flamenco puro, 'De verdad', lo ha grabado junto a Tomatito.