Urodził się 30 I 1869 r. w Rożenku koło Opoczna. Rodzice: Jan (kolejny Jan Kochanowski!) i Eufemia z d. Koźmińska posłali swego syna do dobrych szkół w Kielcach i Piotrkowie. Po ich ukończeniu młodzieniec rozpoczął w 1888 r. studia historyczne w Krakowie. Najwyraźniej rodzina nie chciała by chłopak kształcił się na Cesarskim UW, ponieważ z tamtym okresie zrusyfikowana uczelnia nie cieszyła się dobrą sławą, zwłaszcza jeśli chodzi o przedmioty historyczne.

Na studiach w Krakowie jego mistrzami byli: Franciszek Piekosiński, Stanisław Smolka i Stanisław Tarnowski. Mając za nauczycieli tak wybitnych historyków, młody Kochanowski rozpoczął działalność naukową jeszcze jako student, współredagując „Przegląd Akademicki”. Pod koniec studiów dostrzeżono jego talent i został prezesem Kółka Historycznego UJ. Po ukończeniu krakowskiej akademii w 1892 r. rozpoczął nowe studia we Wrocławiu (krótko studiował także w Rzymie), zapoznając się z pracami historyków niemieckich.

Powróciwszy do ojczyzny w 1895 r., osiadł w Warszawie i w tymże roku ożenił się z Marią Kamieniecką, siostrą historyka Witolda Kamienieckiego. Niemal natychmiast stał się lokalnym autorytetem w dziedzinach historycznych. W 1899 r. wydał książki: Dzieje Akademii Zamojskiej i Kazimierz Wielki. Zarys żywota i panowania. W roku następnym ukazała się kolejna jego praca Witold, Wielki Książę Litewski, a w 1901 r. Początki walki słowiańsko-niemieckiej nad Bałtykiem. Począwszy od 1903 r. brał udział w międzynarodowych kongresach historycznych (w Rzymie, Londynie i Berlinie). Mając niespełna 40 lat, został współzałożycielem Towarzystwa Miłośników Historii i członkiem Towarzystwa Naukowego Warszawskiego. Od 1905 r. przez lat 12 redagował „Przegląd Historyczny” (aż do wybuchu II wojny światowej był członkiem komitetu redakcyjnego). Nadal jednak nie chciał związać się z Uniwersytetem Warszawskim. Nie miał zresztą na to szans, ponieważ na uczelni przybierającej coraz bardziej „wielkoruski” kształt nie zatrudniano polskich historyków.

W 1915 r. czasy rosyjskie dobiegły końca, a warszawska Alma Mater odzyskała niemal całkowitą swobodę nauczania. Jednak słowo „niemal” było dla Jana Karola Kochanowskiego nie do przyjęcia. Odrzucił propozycję profesury, czekając na pełne wyzwolenie od Niemców. Długo czekać nie musiał – już wiosną 1919 r., w nowych warunkach politycznych, został profesorem zwyczajnym UW. Objął katedrę historii średniowiecznej Polski i nauk pomocniczych. Intensywnie pracował też naukowo: w 1919 r. wydał pierwszy tom dokumentów Codex Diplomaticus et Commemorationum Masoviae Generalia. Wkrótce (w 1922 r.) rozpoczął dokształcanie archiwistów, wykładając paleografię w Archiwum Akt Dawnych. Współredagował Wielką Encyklopedię Powszechną i został członkiem Polskiej Akademii Umiejętności.

Pierwsze lata niepodległości były więc szczytem jego kariery, której ukoronowaniem stał się wybór na rektora UW w roku akademickim 1920/1921. Wybrano go na posiedzeniu Senatu Akademickiego 5 VI 1920 r. Zgodnie z Tymczasowym Statutem UW prorektorem został ustępujący rektor Stanisław J. Thugutt, a nowe władze miały zacząć formalne urzędowanie z dniem 1 X.

Rektorowanie Kochanowskiego przypadło na okres, gdy kończyły się wojny o granice II Rzeczypospolitej. Studenci UW rok akademicki rozpoczęli z dużym opóźnieniem, a wielu z nich uczęszczało na zajęcia w mundurach Wojska Polskiego. Kochanowski należał do zwolenników Józefa Piłsudskiego (choć do wybuchu I wojny światowej sympatyzował z ruchem narodowym) i nic dziwnego, że to właśnie naczelnik 2 V 1921 r. otrzymał doktorat honoris causa UW. W tym właśnie dniu rektor warszawskiej uczelni wystąpił po raz pierwszy w stroju rektorskim, z berłem i łańcuchem.

Za swe sympatie polityczne przyszło Kochanowskiemu zapłacić w 1925 r., gdy po atakach Narodowej Demokracji musiał ustąpić ze stanowiska prezesa Towarzystwa Naukowego Warszawskiego. To niemiłe wydarzenie zostało mu jednak wynagrodzone w 1928 r., gdy wybrano go posłem z ramienia BBWR.

Kochanowski wykładał na UW do emerytury w 1934 r. W 1935 r. uczelnia mianowała go profesorem honorowym UW. Na starość coraz bardziej dziwaczał i odcinał się od świata. Jego wykłady stały się nudne i mało zrozumiałe. Blisko 70-letni profesor zaprzestał badań naukowych, wdając się w historyczno-socjologiczne spekulacje. Jego nowe, tchnące mesjanizmem prace, podparte formułami matematycznymi, przyjmowano z ledwie skrywaną konsternacją.

Podczas wojny mieszkał początkowo w Warszawie, ale w maju 1943 r. jego dom przy ul. Koszykowej 67 został zbombardowany. Wyprowadził się więc do córki mieszkającej we wsi Widawka pod Radomskiem. Stracił kontakt ze światem nauki. Żył w coraz większym odosobnieniu, miał poważne problemy ze wzrokiem. W wydanej na emigracji w 1945 r. dwutomowej książce Straty kultury polskiej prof. Oskar Halecki uśmiercił Kochanowskiego już w 1943 r. W rzeczywistości nasz bohater żył jeszcze 6 lat. Umarł zapomniany 6 X 1949 r. w miejscowości Cielądz pod Rawą Mazowiecką. Tam też został pochowany na miejscowym cmentarzu.