Palermo blev grundlagt af fønikierne i 600-t. f.Kr. Byen blev Karthagos vigtigste støttepunkt i kampene mod grækerne om herredømmet over Sicilien. Under 1. Puniske Krig erobrede romerne byen i 254 f.Kr.

Palermo blev efter Det Vestromerske Riges opløsning erobret af vandaler og ostrogoter, men i 535 tilbageerobret af Det Byzantinske Rige.

Araberne erobrede byen i 831 og gjorde den til en økonomisk og kulturel hovedstad, hvor også mange jøder slog sig ned under det tolerante styre.

Da normannerne i 1072 havde indtaget Palermo, blev byen hovedstad for deres syditaliensk-sicilianske stat. Såvel under normannerne som under de hohenstaufiske tyske kejsere, der fra 1194 efterfulgte dem, oplevede Palermo en glanstid uden sidestykke i byens historie.

Efter kejser Frederik 2.s død i 1250 kom Palermo under huset Anjou, der blev fordrevet under Den Sicilianske Vesper i 1282, og derefter under aragonsk og østrigsk styr.

I 1732 blev det en del af de spanske bourboner. Dem gjorde byen forgæves oprør mod 1848-49. Den blev befriet af Garibaldi i 1860 og indlemmet i den nye italienske stat.