Urodził się 23 listopada 1937 r. w Moskwie. Był przybranym synem Zygmunta Modzelewskiego, działacza KPP, PPR, PZPR, w latach 1947-51 ministra spraw zagranicznych. Od 1954 do 1959 roku studiował historię na Uniwersytecie Warszawskim. Był do 1964 roku asystentem na tej uczelni. Za swojego mistrza uważał prof. Aleksandra Gieysztora.
Karol Modzelewski brał udział w wydarzeniach polskiego Października w 1956 roku. Bywał wówczas na wiecach w Fabryce Samochodów Osobowych na Żeraniu, był pod wrażeniem wystąpień robotniczego przywódcy Lechosława Goździka. W listopadzie 1956 roku został członkiem zarządu Komitetu Uczelnianego ZMS, odpowiadał za kontakty z robotnikami. Był także, do 1964 roku, członkiem PZPR.
W latach 1962-1963 kierował Politycznym Klubem Dyskusyjnym na Uniwersytecie Warszawskim - forum młodych marksistów krytykujących politykę PZPR. Jednym z nich był Jacek Kuroń. Klub został rozwiązany decyzją władz partyjnych.
Karol Modzelewski i Jacek Kuroń opracowali memoriał krytykujący PZPR za odejście od marksizmu zarówno w sprawach politycznych, jak i gospodarczych. Autorzy uznali, że Polską rządzi biurokracja partyjna wyzyskująca klasę robotniczą. Prawdziwy ustrój komunistyczny miał zapanować w wyniku rewolucji. Istniałaby w nim możliwość tworzenia wielu partii robotniczych i związków zawodowych. Pominięta została kwestia zależności od ZSRR i niepodległości Polski. Obaj autorzy uznali to później za "błąd świadczący – jak pisał Jacek Kuroń - o tym, w jakiej izolacji od społeczeństwa żyła październikowa lewica". Władze udaremniły zamiar powielenia i tajnego kolportowania memoriału w zakładach pracy.
W 1964 roku Modzelewski został wykluczony z PZPR i stracił pracę na uczelni. Treść memoriału powtórzona została w "Liście otwartym do członków PZPR". - Był to dokument kluczowy dla organizowania się ruchu sprzeciwu wobec systemu, jego dosyć trafna analiza i zarazem akt oskarżenia - powiedział prof. Andrzej Friszke.
W marcu 1965 roku Modzelewski został aresztowany, następnie skazany na 3,5 roku więzienia za nawoływanie w memoriale i liście do obalenia przemocą ustroju politycznego i społeczno-gospodarczego Polski Ludowej oraz rozpowszechnianie fałszywych wiadomości jej dotyczących. Wyrok skazujący otrzymał także Jacek Kuroń.
Wyszedł z więzienia w sierpniu 1967. W 1968 roku należał do inicjatorów akcji protestacyjnej przeciw zdjęciu "Dziadów" ze sceny Teatru Narodowego w Warszawie. Był autorem hasła "Niepodległość bez cenzury", skandowanego podczas ostatniego spektaklu. Włączył się w działalność tzw. komandosów. Aresztowany w marcu 1968, zaliczony został do głównych inspiratorów protestów studenckich. Dostał wyrok 3,5 roku więzienia za udział w związku zmierzającym do realizacji wrogiego PRL programu politycznego.
Po wyjściu z więzienia był, od 1972 roku, pracownikiem naukowym Instytutu Historii Kultury Materialnej PAN we Wrocławiu. Do 1980 roku nie prowadził działalności opozycyjnej, nie związał się też z KOR. Jednak po protestach robotniczych z czerwca 1976 roku napisał list do I sekretarza KC PZPR Edwarda Gierka protestując przeciw represjom i proponując reformy, w tym autonomię związków zawodowych.
- W latach 1980-1981 Karol Modzelewski był jednym z przywódców i strategów Solidarności, posiadał ogromną zdolność formułowania myśli i wielokrotnie odegrał rolę projektodawcy bardzo ważnych uchwał. Uchwała z 17 września 1980 roku o powstaniu jednego związku zawodowego o nazwie Solidarność jest w ogromnej mierze zasługą Karola Modzelewskiego - mówił Friszke.
Według niektórych relacji to właśnie Modzelewski wymyślił, by ogólnopolski związek miał nazwę "Solidarność" - taki był tytuł biuletynu, wydawanego w czasie strajku w Stoczni Gdańskiej. Sam Modzelewski wspominał w 1993 roku w rozmowie z Teresą Torańską na potrzeby filmu telewizyjnego, że o tym, iż znalazł się w 1980 roku w Gdańsku zadecydował przypadek. Już od kilku lat nie udzielał się bowiem w środowiskach opozycyjnych, ale gdy członek KOR Józef Śreniowski powiedział mu, że w Gdańsku na niego czekają, pojechał.
W listopadzie 1980 roku Karol Modzelewski wraz z Tadeuszem Mazowieckim i Andrzejem Gwiazdą uczestniczył w rozmowach z władzami PRL dotyczących rejestracji NSZZ "Solidarność". Ponieważ pracował wtedy na Uniwersytecie Wrocławskim, znalazł się we władzach Zarządu Regionu Dolny Śląsk NSZZ "Solidarność". Był też członkiem Krajowej Komisji Porozumiewawczej, następnie (po I zjeździe związku) Komisji Krajowej NSZZ "Solidarność". Do kwietnia 1981 pełnił funkcję rzecznika prasowego KKP. Zrezygnował z niej w proteście przeciw sposobowi porozumienia się Solidarności z władzami PRL po tzw. prowokacji bydgoskiej (pobicie członków związku, m.in. Jana Rulewskiego 19 marca 1981), gdy podczas rozmów z rządem przewodniczący KKP Lech Wałęsa i jego zastępca Andrzej Gwiazda zdecydowali o odwołaniu strajku generalnego bez porozumienia z całą komisją. Protestował też przeciw autorytarnemu stylowi kierowania związkiem przez przewodniczącego NSZZ "Solidarność" Lecha Wałęsę.
Na posiedzeniu Komisji Krajowej w grudniu 1981 r., przed wprowadzeniem stanu wojennego, użył pod adresem władz słów: "Bój to będzie ich ostatni". Jak potem tłumaczył, sądził, że wyrażona w tych słowach determinacja Solidarności odwiedzie władze od wprowadzenia stanu wojennego.
Karol Modzelewski został internowany w nocy z 12 na 13 grudnia 1981, po ogłoszeniu stanu wojennego. Po roku został aresztowany pod zarzutem zmierzania do obalenia przemocą ustroju PRL - należał do tzw. jedenastki byłych działaczy KSS "KOR" i "Solidarności", którym władze PRL planowały wytoczyć pokazowy polityczny proces. W końcu jednak od tego odstąpiono. Modzelewski wyszedł z więzienia na mocy amnestii z lipca 1984 roku.
Wrócił do pracy naukowej, pracował w Instytucie Historii PAN, następnie w Instytucie Historycznym Uniwersytetu Wrocławskiego oraz Instytucie Historycznym Uniwersytetu Warszawskiego. W roku 1990 uzyskał tytuł naukowy profesora.
Prof. Henryk Samsonowicz mówił w 2017 r.: - Mam wielkie uznanie dla wytrwałości badawczej i szerokości spojrzenia Karola Modzelewskiego. Jest on autorem dwóch modelowych, nowych zupełnie ujęć nie tylko dotyczących Polski, ale i całej Europy. Pierwsze jego prace dotyczyły organizacji gospodarczej państwa piastowskiego i stworzyły koncepcje tego, jak funkcjonowało w XII i XIII w. państwo oparte o podział pracy wśród ludności zależnej. Jego praca "Barbarzyńska Europa" jest wynikiem długoletnich badań nad tym, czym była wspólnota, która ukształtowała się na gruzach dawnego cesarstwa rzymskiego. Inspirujące sądy Karola Modzelewskiego dotyczyły różnorodności źródeł kultury europejskiej. Na rzymskie instytucje, w tym prawo rzymskie, a także na chrześcijaństwo, nałożyły się obyczaje plemion, które zasiedliły teren cesarstwa rzymskiego: Germanów, Celtów, Słowian, Ugrofinów. Ta wielość modeli ustrojowych stworzyła niepowtarzalny obraz kultury europejskiej. Warto wspomnieć, że Karol Modzelewski pracował naukowo także w więzieniu.
We wspomnieniach uczniów prof. Modzelewski określany był jako znakomity dydaktyk, który potrafił świetnie słuchać studentów. W 2017 r. dr hab. Marcin Pauk z IH UW wspominał: "Okiem studenta dostrzega różne rzeczy, które doświadczonemu badaczowi nawet niekiedy potrafią umknąć. Jego seminarium było pierwszą poważną szkołą warsztatu mediewistycznego. Prof. Modzelewski jest niedoścignionym wzorem kontaktu z drugim człowiekiem, ma ogromne pokłady życzliwości i otwartości. Kiedy byłem doktorantem zawsze czułem, że jestem traktowany po partnersku. Nigdy nie podkreślał i nie budował hierarchii. Jego dom był zawsze otwarty dla nas – uczniów, którzy chcieli wpaść coś skonsultować z nim na bieżąco. Zawsze częstował herbatnikami i herbatą. Poświęcał tyle czasu, ile potrzebowaliśmy na to, żeby mu o czymś opowiedzieć czy wysłuchać jego opinii. Jego intuicja badawcza była dla nas zawsze ogromną pomocą".
Z kolei dr hab. Aneta Pieniądz z IH UW w 2017 r. podkreśla wręcz "niesamowitą" umiejętność wykładania profesora Modzelewskiego. "Cytował z pamięci duże partie źródeł, a następnie te źródła od razu przekładał z łaciny czy z ruskiego na język polski, dokonywał ich analizy. Kiedy pierwszy raz to usłyszałam, było to dla mnie zdumieniem, że w ten sposób można opanować materię źródłową, na której się pracuje. Nigdy też nie wykładał z kartki. Ma świetną umiejętność analizy tekstu, a jednocześnie zdolność syntezy i budowania modeli. To zresztą widać we wszystkich jego pracach. Rzadko się zdarza wśród historyków, żeby miały one tak przemyślaną konstrukcję, która może służyć jako model interpretacyjny dla następnych historyków. Stąd taka popularność pierwszych, wczesnych prac prof. Modzelewskiego – do dzisiaj stosuje ten wzorcowy sposób analizy organizacji państwa piastowskiego".
Także Jacek Kuroń, wieloletni przyjaciel prof. Modzelewskiego, podkreślał zawsze jego niesłychaną dyscyplinę intelektualną i komunikatywny sposób mówienia. "Karol zawsze mówił zdaniami od razu nadającymi się do druku" - wspominał Kuroń.
W roku 1989 Karol Modzelewski został senatorem z listy Komitetu Obywatelskiego "Solidarność" i członkiem Obywatelskiego Klubu Parlamentarnego. Był też inicjatorem Klubu Parlamentarnego "Solidarność Pracy" i współzałożycielem Unii Pracy, w latach 1992-1995 członkiem tej partii, ale po zakończeniu w 1991 roku pierwszej kadencji Senatu nie chciał już kandydować.
Bardzo szybko stał się, z pozycji lewicowych, ostrym krytykiem transformacji gospodarczej i tzw. planu Balcerowicza. Wydana w 1993 roku jego książka "Dokąd od komunizmu" zawierała pierwszą tak kompleksową krytykę przemian, sformułowaną przez człowieka obozu "Solidarności".
W marcu 1998 roku został odznaczony, wraz z Jackiem Kuroniem, Orderem Orła Białego przez prezydenta Aleksandra Kwaśniewskiego. W 2005 w wyborach prezydenckich był członkiem komitetu wyborczego Włodzimierza Cimoszewicza.
W 2007 r. został laureatem Nagrody Fundacji na rzecz Nauki Polskiej w dziedzinie nauk humanistycznych i społecznych. W 2012 r. został również laureatem Nagrody Orła Jana Karskiego. Za autobiografię "Zajeździmy kobyłę historii. Wspomnienia poobijanego jeźdźca" (wyd. w 2013 r.) otrzymał w 2014 r. Nagrodę Literacką Nike oraz Nagrodę Historyczną im. Kazimierza Moczarskiego. Wspomnienia zostały również wybrane w plebiscycie czytelników, bibliotekarzy i księgarzy Książką Roku 2013 Warszawskiej Premiery Literackiej.
W 2017 roku ukazała się książka "Modzelewski, Werblan, Polska Ludowa", w której prof. Modzelewski dyskutuje na temat PRL z prof. Andrzejem Werblanem, historykiem, w przeszłości członkiem najwyższych władz PZPR.