Siergiej Kowalow urodził się 2 marca 1930 roku. W roku 1952 ukończył wydział biologii Moskiewskiego Uniwersytetu Państwowego (MGU). Już w połowie lat 50. XX wieku Kowalow podczas pracy na uczelni występował przeciwko ideologizacji nauki, zwłaszcza genetyki.
Impulsem do podjęcia aktywności na rzecz obrony praw człowieka stał się dla niego proces pisarzy Andrieja Siniawskiego i Julija Daniela w 1966 roku. W latach 1967-1968 Kowalow był sygnatariuszem wielu protestów i dołączył do działaczy powstającego ruchu obrony praw człowieka. W maju 1969 roku dołączył do pierwszej w ZSRR tego rodzaju organizacji - Grupy Inicjatywnej na rzecz obrony praw człowieka. 28 grudnia 1974 roku został aresztowany i oskarżony o "propagandę antyradziecką". Skazano go rok później na siedem lat łagru i trzy lata zesłania.
Był pierwszym rosyjskim rzecznikiem praw człowieka
Po powrocie do Moskwy w roku 1987, już w okresie pieriestrojki, Kowalow zaangażował się w działalność na rzecz przemian demokratycznych. Od stycznia 1994 roku do marca 1995 roku był pierwszym rosyjskim rzecznikiem praw człowieka (ombudsmanem).
W czasie tzw. pierwszej wojny czeczeńskiej Kowalow od początku ostro krytykował politykę ówczesnego prezydenta Rosji Borysa Jelcyna i decyzję o użyciu sił zbrojnych wobec separatystów. Stanowisko, które w tej sprawie zajął i nagłaśnianie aktów przemocy ze strony sił federalnych, sprawiło, że Duma Państwowa odwołała go z funkcji rzecznika praw człowieka. W 1996 roku ustąpił ze wszystkich stanowisk w administracji Jelcyna. Władzom Rosji Kowalow zarzucał, że niechętnie mówią o demokracji i praworządnym państwie, a coraz częściej sięgają po retorykę wielkomocarstwową. Nie mniej krytycznie ocenił on Władimira Putina u początku jego rządów.
Kowalow był laureatem licznych odznaczeń i nagród zagranicznych oraz międzynarodowych za działalność na rzecz obrony praw człowieka. Polskie odznaczenie - Krzyż Wielki Orderu Zasługi RP - przyznał mu w 2009 roku prezydent Lech Kaczyński. W wypowiedziach na temat relacji rosyjsko-polskich Kowalow opowiadał się za zbadaniem i ocenieniem na drodze sądowej zbrodni katyńskiej.