Borgarinnar Ufusalim var getið þegar árið 1400 f.Kr. í töflunum úr rústum el Amarna sem furstaseturs Egypta.  Davíð sigraði borgina í kringum 1000 f.Kr., þegar hún var aðalsetur jebúsíta frá Kanan (II Sam. 5,6-10).  Davíð settist þar að og lét reisa Davíðskastala.  Sonur hans, Salómon (970-933) lét reisa stóra konungshöll á austurhæðinni með hofi til dýrðar jehóva.  Að honum gengnum var ríkinu skipt og Jerúsalem varð höfðuborg Júdeu þar til Jojachin konungur varð að gefast upp fyrir Nebukadnesar Babýlóníukonungi (605-562) árið 597.  Uppreisnin (Zedekia) árið 586 leiddi til eyðingar borgarinnar.  Þegar gyðingar komu aftur úr útlegðinni (538) endurbyggðu þeir borgina og hof hennar.  Byggingu borgarmúranna lauk ekki fyrr en árið 444.  ófriðartímar fylgdu í kjölfarið og síðasta konungshöll makkabea (frá 167) varð að víkja fyrir byggingum Rómverja.  Heródes mikli sat í Jerúsalem á ríkiistjóraárum sínum 37-4 f.Kr. og sagt er, að hann hafi verið við lýði, þegar Kristur fæddist, sem skýtur nokkuð skökku við, því að þar munar a.m.k. 5 árum miðað við tímatal okkar.  Hvað sem því líður dafnaði og blómstraði borgin á dögum Heródesar.  Blóðug uppreisn þjóðarflokks gyðinga, Zelot, gegn Rómverjum árið 67 e.Kr. olli því, að Titus lét ráðast á borgina og eyða henni árið 70.  Hadrian keisari lét síðan reisa heiðnu borgina Aelia Capitolina árið 130.  Gyðingum var bannað að búa í henni eftir uppreisn, sem Bar Kochba leiddi á árunum 132-135.

Í valdatíð Konstantíns keisara (306-337) hóftst kristileg saga Jerúsalem með byggingu Grafarkirkjunnar og ferðir pílagríma þangað og til ýmissa annarra helgra staða hófust snemma.  Árið 570 voru þegar gististaðir með 3000 gistirýmum fyrir þessa ferðalanga.  Þegar Omar kalífi náði borginni undir sig árið 637, fór hann mildum höndum um hana og nokkrum áratugum síðar var lokið við byggingu Klettakirkjunnar.  Eftir sigur krossfaranna árið 1099 undir forystu Gottfried von Bouillon (†1100) varð borgin höfuðborg konungsríkisins Jerúsalem þar til Saladín náði henni aftur undir Tyrki árið 1187.  Egyptar réðu borginni frá 1382 þar til Tyrkir komu aftur 1517.  Í fyrri heimsstyrjöldinni hernámu Englendingar Jerúsalem undir forystu Allenby hershöfðingja 9. desember 1917 án átaka.  Árið 1920 réðu Englendingar allri Palestínu.

Vegna gyðingaofsókna í Evrópu var nauðsynlegt að rýma til fyrir þeim í Palestínu.  Straum innflytjenda þangað óx svo mikið á fjórða áratugi 20. aldar, að brezka herstjórnin varð að takmarka innflytjendaleyfin til að koma á móts við óskir og mótmæli araba.  Þessar ráðstafanir leiddu til kröftugra mótmæla gyðinga um allan heim og blóðugra átaka milli íbúahópa landsins.  Sameinuðu þjóðirnar ákváðu 1947 að skipta Palestínu og Jerúsalem varð að alþjóðlegu svæði.  Strax og brezkum yfirráðum lauk skall á stríð (15. maí 1947) milli gyðinga og Arababandalagsins.  Eftir vopnahléið í marz 1949 urðu víglínurnar að föstum landamærum Ísraelsríkis.  Jerúsalem var skipt í tvennt með hlutlausu belti á milli borgarhluta.  Mestur hluti gömlu borgarinnar  og flestir helgir staðir féllu til Jórdaníu en nýjustu borgarhlutarnir urðu að höfuðborg Ísrael.  Páll IV, páfi, heimsótti borgina í janúar 1964.  Ísraelar náðu jórdanska hlutanum í Sexdagastríðinu 1967 og lýstu borgina alla höfuðborg ríkisins og órjúfanlegan hluta þess um alla framtíð árið 1980.  Þessar aðgerðir og yfirlýsingar ollu miklu írafári í arabaheiminum.