Haifa er hvergi minnst í biblíunni en á þessum slóðum voru tvær byggðir.  Salmona, sem var austar við Kishonána hjá Tell Abu Hauwam, sem var jöfnuð við jörðu á síðari tímum til að rýma fyrir iðnaði.  Vestar var Shiqmona, sem var grafin upp sunnan Hafrannsóknarstofnunarinnar.  Þessar rústir eru frá dögum Salómons konungs (10. öld f.Kr.) og minjar þaðan eru í safni, sem hýsir gömul listaverk borgarinnar.  Í Talmud er Haifa getið á milli þessara byggða og nafn núverandi borgar færðist yfir allar byggðirnar á býzantískum tíma.  Haifa var lögð í rúst á 7. öld en er kominn á kortið aftur og þekkt fyrir Talmudskóla og skipasmíðar á 11. öld.  Árið 1099 vörðust borgarbúar árásum krossfara í hálft ár en þá var borginni eytt.  Saladin soldán tók við völdum í borginni 1187 eftir brottför krossfaranna en Ríkharður ljónshjarta náði henni aftur 1191.  Árið 1265 rak Baibars soldán krossfarana endanlega á brott.  Karmelítaklaustrin, sem Berthold munkur stofnaði 1150 voru eyðilögð, þegar Akko fell 1291 og munkarnir fluttu til Evrópu.

Á tímum mamelúka og osmana (eftir 1517) var Haifa aðeins fiskimannabær.  Árið 1740 náði Dahir el Umar, æðstráðandi í Galíleu, Haifa undir sig og byggði þann hluta, sem nú er gamli bærinn milli Parísartorgs (Kikar Paris) og pósthússins.  Hann lét gera höfnina þannig úr garði, að hún annaði útflutningi kornvöru til Egyptalands.  Eftirmaður Dahirs, Ahmed Jezzar Pascha, sem tók við völdum 1775, leyfði karmelítum að snúa aftur og setjast að við Elíashellinn.  Klaustur þeirra var notað sem sjúkraskýli, þegar Napóleon réðist á Akko.  Ahmed Jezzar lét drepa allt bæklað fólk, þegar Napóleon yfirgaf borgina.  Eftirmaður Ahmeds, Abdallah Pascha lét reisa vita (Stella Maris) við Eliashellinn í 105 m hæð yfir sjó á tímum gríska sjálfstæðisstríðsins.  Hann ofsótti rétttrúnaðarfólk en leyfð karmelítum að byggja nýtt klaustur við Elíashellinn árið 1828.

Mikilvægi Haifa óx við umferð gufuskipa, því að höfnin í Akko var of lítil fyrir þau.  Árið 1868 bættust þýzkir templarar frá Württemberg við gyðingasamfélagið.  Hús þeirra eru varðveitt beggja vegna Karmelgötunnar (Shderot Hakarmel).  Kirkjugarður þeirra er aðeins vestar við Jaffagötu.  Þegar templararnir vildu færa út kvíarnar kom til átaka við hina frönsku karmelíta, sem girtu fjallið af með múr.  Síðan hefur þessi hluti borgarinnar verið kallaður „Franski karmel”.

Árið 1898 kom Wilhelm II, Þýzkalandskeisari, í heimsókn.  Í því tilefni var byggð bryggja, sem var upphaf að hafnarbótum í borginni.  Keisarinn hvatti til þess, að Hedschasbahn yrði innlimað í borgina, sem varð til þess að bakland hennar var lagt undir hana.  Uppgangur Haifa varð til þess, að gamla borgin þandist út til norðvesturs, í áttina að þýzku nýlendunni.  Árið 1881 var fyrsti gyðingaskólinn opnaður.  Kristið fólk frá Líbanon og arabar fluttust til borgarinnar.  Trúarhópar Bahá’i frá Persíu og Ahmediya frá Indlandi, sem klofnuðu frá islam, gerðu borgina að miðstöð sinni.

Í upphafi tuttugustu aldar höfðu gyðingar frumkvæði að flestu, sem borgina snerti.  Árið 1902 lýsti rithöfundurinn Theodor Herzl Haifa í bók sinni „Gamla nýjalandið” sem borg framtíðarinnar.  Árið 1903 byggðist úthverfið Herzliya.  Árið 1906 stofnuðu þrír rússneskir síonistar sápuverksmiðjuna Atid (framtíð).  Árið 1912 var Technion stofnað og Tyrkir notuð bygginguna sem sjúkraskýli 1914.  Loksins, þegar hægt var að opna háskólann 1925, var hebreska notuð sem kennslumál en þýzku stofnfélagarnir höfðu ætlað þýzkunni þann sess.  Þessi ákvörðun olli miklum deilum.  Technion þróaðist hratt og var stækkaður 1953 (Qiryat Hatechnion).

Hinn 23. september 1918 lögðu Bretar borgina undir sig og lögðu járnbraut um Gaza til Egyptalands.  Árið 1920 var verkamannasambandið Histadrut stofnað.  Ný úthverfi voru byggð:  Hadar Hakarmel (heiður Karmel) 1920, Ahusat Samuel 1921, Bat Galim (hafmeyjan) 1922 Geula (björgunin) og Neve Sah’an (friðarstaður).  Ný iðnfyrirtæki risu og þróunin hélt áfram, þrátt fyrir ósætti og árekstra milli gyðinga og araba borgarinnar.  Árið 1933 var lokið við gerð hafskipahafnar borgarinnar og árið 1934 var olíuhöfnin byggð við enda íröksku olíuleiðslunnar.

Árið 1936 neyddust gyðingar, sem bjuggu í austurhluta neðri borgarinnar, að flytja brott vegna átaka við araba og setjast að á Hadar Hakarmel.  Þar með var borgin klofin í tvo trúarhluta.  Í síðari heimsstyrjöldinni voru þýzku templararnir flutti á brott.  Eftir styrjöldina kom til átaka milli andspyrnuhreyfingar gyðinga (Hagannah), brezka setuliðsins og araba og Hagannah fór með sigur af hólmi.  Í kjölfar stofnunar Ísraelsríkis 1948 óx mikilvægi Haifahafnar vegna stöðugs straums innflytjenda frá Evrópu.  Borgin blómstraði og ferðaþjónustunni óx fiskur um hrygg.