A koronázásakor 29 éves fiatalember születésekor még igen hátul állt az öröklési sorrendben. 1887-es születésekor a trónörökös Rudolf főherceg volt, Ferenc József egyetlen fia. Két éves volt, amikor a főherceg 1889-es halála után az uralkodói cím várományosa a császár öccse, Károly Lajos lett. Lajost, miután 1896-ban tífuszban meghalt, fia Ferenc Ferdinánd követte. 1914-ben azonban, mint az közismert, a trónörökös Szarajevóban merénylet áldozata lett, így vált Károlyból ténylegesen a trón várományosa. (Valójában Ferenc Ferdinánd rangon aluli házassága és Károly apjának, Ottónak kicsapongó életmódja miatt már sokkal korábban sejteni lehetett, hogy egy nap ő lesz a Monarchia uralkodója.)
Neveltetését mélyen vallásos anyja, Mária Jozefa felügyelte. Jeleskedett a természettudományokban, jól bírta a testedzést és több idegen nyelven beszélt, köztük magyarul is. Rendhagyó módon a magántanulmányai után két évet töltött a bécsi Schottesgymnasium diákjaként. Osztálytársaival (is) nagyon közvetlenül viselkedett, akik egyszerűen „Főkárolynak” (németül „Erzkarlnak”) szólították. Katonai karrierjét 1905-ben a lovasságnál kezdte, majd különböző galíciai és csehországi helyőrségekbe került. Az első világháború kitörése után augusztusban megkapta a tescheni hadsereg főparancsnokságát.
1911. október 21-én feleségül vette Zita Bourbon-Pármai hercegnőt. Szerelmi házasság volt ez, amiből hét gyermek született: Ottó, Adelheid, Róbert, Félix, Károly Lajos, Rudolf és Sarolta.
Ferenc József halála után 1916. november 21-én I. Károly néven lépett az osztrák császári trónra. Miután átvette a hadseregfőparancsnokságot egyik első döntése a vezérkari főnök, Conrad von Hötzendorf eltávolítása volt. Még ugyanabban az évben december 30-án Budán a Mátyás templomban IV. Károly néven magyar királlyá koronázták.
A koronázás a magyar politikai vezetés számára is nagy jelentőségű volt. Tisza István miniszterelnök számára presztízskérdést jelentett, hogy őt válasszák nádorhelyettessé. A nádornak volt ugyanis (a kora újkortól kezdve az esztergomi érsek mellett) koronázási joga, a pozíciót azonban 1848 óta nem töltötték be. A ceremóniát a december 1-jén felállított Koronázási Ünnepélyt Rendező Bizottság bonyolította le Jekelfalussy Zoltán császári és királyi kamarás, miniszteri tanácsos elnökletével. Ugyancsak presztízsjelentőségű volt, hogy a koronázáson a „családi” helyett a magyar himnusz csendült fel. Ez volt az első és egyben utolsó magyar királyi koronázási szertartás, amelyről filmfelvétel készült (és amely a HM Hadtörténeti Intézet és Múzeumban megtekinthető).
A szertartáson több olyan apró esemény is történt, amit utólag sokan baljóslatúnak ítéltek. Ilyen volt a Szent Koronáról lehulló kő, a kipárnázás és az állszíj ellenére az uralkodó fején megingó korona és a koronázás befejezése után nem sokkal lehulló hatalmas körcsillár. Ugyancsak nem a jó előjelek közé volt sorolható az sem, hogy a főpróba végén a főoltár világításánál elhelyezett üveglap úgy felforrósodott, hogy felrobbant, szilánkokkal terítve be az oltárt. Szerencsére senki nem tartózkodott a közelben.
Azt a célkitűzését, hogy Ausztria-Magyarországot kivezesse a háborúból nem sikerült elérnie. 1918. november 13-án pedig az eckartsaui nyilatkozatban „az ország ügyeinek viteléről” is lemondott. A magyar trónra kétszer is megpróbált visszatérni (1921 március 26-án, majd október 20-án), de sikertelenül. Emiatt Madeira szigetére száműzték, ahol 1922. április 1-jén halt meg. IV. Károly utolsó magyar királyt egyebek mellett vallásos életvitele és háborúból való kilépési szándéka okán 2004 október 3-án II. János Pál pápa boldoggá avatta.