Naprawdę nazywał się Ahmed al-Chalajla, był Jordańczykiem. Urodził sie w 1966 roku. Jego rodzice byli emigrantami palestyńskimi. W młodości nic nie zapowiadało, że stanie się fanatycznym mordercą. Hulał po barach i wbrew biblii Islamu - Koranowi - pił na umór. W latach 80. pojechał na wojnę do Afganistanu gdzie walczył przeciwko Rosjanom. Tam poznał terrorystę numer jeden Osamę bin Ladena, odpowiedzialnego za zamachy w Nowym Jorku z 11 września 2001 roku. Został jego bliskim współpracownikiem. Podobno przeszedł oświecenie religijne. W jednym z przekazów wyznał swoje marzenia: "Żadnych Amerykanów. Żadnych niewiernych".

Ukrywał się m.in. w Europie. Po zamachach 11 września powrócił do Afganistanu, gdzie od wybuchu amerykańskiej bomby stracił nogę. Później przedostał sie do Iraku. Kilkarotnie był skazywany na smierć. Zawsze jednak udawało mu się uciec. Za jego schwytanie Amerykanie oferowali 25 mln dolarów.

Al-Zarkawi przyznał się do większości zamachów w Iraku oraz do ścięcia dwóch zakładników, m.in. Amerykanina Nicolasa Berga. Groził też śmiercią irackiemu premierowi Ijadowi Alawiemu. Amerykanie oskarżali go też o współudział w zabójstwie Laurence'a Foleya, amerykańskiego urzędnika przebywającego w Jordanii w 2002 r. Odpowiadał też za wiele zamachów od Casablanki po Stambuł.