Urodził się na dalekich kresach na Podolu, najprawdopodobniej pod koniec 1803 r. Ochrzczony został w swojej parafii Smiła już w nowym roku, przez co często to właśnie data chrztu jest przyjmowana za datę urodzin. W pobliskim Humaniu ukończył z wyróżnieniem szkołę powiatową. Podczas nauki zaprzyjaźnił się z Sewerynem Goszczyńskim, znanym później poetą. W 1823 r. został przyjęty na Uniwersytet Wileński. Tam poznał wiele ciekawych osobistości, które zapewne wpłynęły na jego życie: Adama Mickiewicza, Juliana Korsaka, Antoniego Odyńca i Juliusza Słowackiego. Szczególnie z ostatnim związała go wieloletnia przyjaźń.

Jednakże w odróżnieniu od romantyków Mianowski interesował się raczej sprawami przyziemnymi i został lekarzem. W lipcu 1828 r. za napisaną po łacinie rozprawę O tężcu uzyskał w Wilnie stopień doktora i został asystentem Jędrzeja Śniadeckiego w klinice chorób wewnętrznych. Szybko został znanym i szanowanym, zwłaszcza w sferach ziemiańskich, medykiem. Nadal też prowadził działalność naukową, wykładając w Akademii Medyko-Chirurgicznej w Wilnie. W życiu prywatnym miał mniej szczęścia. W 1831 r. zmarła na gruźlicę (po powikłaniach przy połogu) jego świeżo poślubiona żona. Wydaje się, że z Aleksandrą (przyrodnią siostrą Juliusza Słowackiego) łączyło go naprawdę głębokie uczucie. Po tej stracie Józef Mianowski zainteresował się problemem leczenia gruźlicy, czego efektem była praca naukowa, dzięki której uzyskał stanowisko adiunkta Akademii. W 1837 r. wydał najważniejsze swoje dzieło, liczące dwa tomy O złamaniach kości.

Na początku 1840 r. otrzymał nominację na profesora fizjologii, ale ten rok mocno zachwiał karierą Mianowskiego. Carska policja odkryła, że w wileńskiej klinice ukrywał on Szymona Konarskiego i gdy ten został złapany i rozstrzelany, przyszły rektor Szkoły Głównej znalazł się w nie lada opałach. Przez rok przebywał w więzieniu i tylko wstawiennictwu wpływowych dawnych pacjentów zawdzięczał odzyskanie wolności. Do nauczania w Akademii wrócić nie mógł, gdyż uczelnię właśnie rozwiązano.

Mianowskiemu znów pomogły znajomości i w grudniu 1841 r. znalazł się w Petersburgu, gdzie powołano go do Katedry Pediatrii tamtejszej Akademii Medycznej. Działalność naukową porzucił po kilku latach na rzecz praktyki lekarskiej. Był dobrym fachowcem i szybko zyskał sobie sławę. W 1848 r. został nadwornym lekarzem córki Mikołaja I. Pamiętnikarz zanotował: „Cieszył się wielkim wpływem u dworu, a wrodzone mu przymioty serca, wysoki takt w obcowaniu z ludźmi, pewna dworskość i układność w rozmowie, wyjednały mu szerokie w Petersburgu stosunki, które Mianowski zawsze na korzyść rodaków, losem na północ zagnanych, obracać umiał”.

W 1860 r. był człowiekiem dosyć zamożnym, miał też cenne znajomości i właśnie wtedy postanowił odejść na emeryturę. Być może chciał ułożyć sobie życie od nowa. Poślubił o wiele młodszą Rosjankę (niemieckiego pochodzenia) Nadieżdę Haller i wyjechał do Albano we Włoszech.

Tymczasem w Królestwie Polskim rozpoczęła się odwilż „posewastopolska”. W 1857 r. w Warszawie powstała Akademia Medyko-Chirurgiczna, a w 1862 r. reaktywowano uniwersytet (pod nazwą Szkoły Głównej). Zgodnie z zamysłem tutejszych władz oświatowych najlepszym kandydatem na rektora uczelni miał być Mianowski. We wrześniu 1862 r. bawiący w Albano emerytowany lekarz otrzymał od Aleksandra Wielopolskiego propozycję, by stanąć na czele nowo otwartej Szkoły Głównej. Zgodził się, zostając w ten sposób trzecim w historii UW rektorem.

W październiku Mianowski przyjechał więc do Warszawy, a już miesiąc później, 25 XI 1862 r., podczas uroczystej inauguracji uczelni wypowiedział słynne i często cytowane słowa: „Oświatą nie tylko jaśnieją narody, ale się też i z upadku dźwigają”.

Kierowanie Szkołą Główną w czasach powstania styczniowego było niesłychanie trudne, ale rektor wyśmienicie poradził sobie z tym zadaniem. Pomagały mu w tym z jednej strony „układność” i „wysoki takt”, a z drugiej – głęboki patriotyzm. Mianowski nie był zwolennikiem rewolucyjnych zrywów powstańczych, ale kiedy tylko mógł, bronił studentów powstańców przed aresztowaniem czy zsyłką. Rządzony przez Mianowskiego uniwersytet zachował polski charakter.

Niech nie zmyli nas to, że w maju 1865 r. władza rosyjska przyznała rektorowi Szkoły Głównej medal „na pamiątkę stłumienia polskiego buntu”. Taki medal przyznawano każdemu profesorowi Szkoły Głównej. Ten, kto by go nie przyjął, zostałby wyrzucony z pracy.

Mianowski pozostał ulubieńcem młodzieży i większości kadry profesorskiej. Dowodem tego były wybory rektorskie. O ile w 1862 r. Mianowskiego (nomen omen) mianowano, o tyle w 1864 r. i 1867 r. został wybrany przez Senat Szkoły Głównej. Jeden ze studentów tak go po latach wspominał: „Wyprostowany, w długim czarnym burnusie, krokiem żywym szedł nasz rektor z łagodnym dobrotliwym uśmiechem na miłym poważnym obliczu, z odkrytą głową i rozwianym włosem, z kapeluszem w ręku, pozdrawiając uprzejmie spotkanych. A głowy wszystkich chyliły się, ze czcią szczerą, jak przed ojcem dobrym i kochanym”.

Mieszkał w kamienicy przy ulicy Świętokrzyskiej 1334 nieopodal Szpitala Dzieciątka Jezus położonego wówczas w okolicach dzisiejszych ulic Jasnej i Świętokrzyskiej oraz placu Powstańców Warszawy. Szpital ten spełniał de facto funkcję klinik uniwersyteckich, a jego naczelnym lekarzem był zarazem dziekan Wydziału Lekarskiego Szkoły Głównej Aleksander Le Brun. Józef Mianowski w listopadzie 1863 r. został prezesem Rady Szczegółowej tego szpitala. Do pracy jako lekarz miał więc niedaleko. Jako rektor urzędował zaś przy Krakowskim Przedmieściu w Corazziańskim gmachu Szkoły Głównej.

W 1869 r. nastąpił kres działalności polskiej uczelni. Dnia 8 VI car Aleksander II podpisał ustawę o Cesarskim Uniwersytecie Warszawskim,  która w miejsce Szkoły Głównej powoływała do istnienia rosyjskojęzyczny uniwersytet. Dotychczasowy rektor 11 VIII otrzymał z Petersburga dymisję, a na otarcie łez podniesiono jego rangę urzędniczą z czwartej klasy na trzecią, co oznaczało awans na tajnego radcę stanu (trzecia ranga urzędnicza odpowiadała w rosyjskiej armii stopniowi generał-lejtnanta). Zdymisjonowany i najpewniej zniechęcony Mianowski wyjechał do Włoch, trochę podróżował po tym kraju, aż wreszcie w Senigalli położonej nad Adriatykiem (niedaleko Ancony) wybudował sobie i małżonce imponującą willę. Nadal pozostawał w formalnie dobrych stosunkach z Petersburgiem. W 1876 r. przyznano mu order Świętego Włodzimierza klasy drugiej, a niedługo przed śmiercią podniesiono uposażenie do 2500 rubli srebrnych (rbs) rocznie. Zimy spędzał w Rzymie, gdzie otaczał się miejscową Polonią.

Zmarł bezpotomnie 6 I 1879 r. w Senigalli. Pochowany został w neogotyckim okazałym grobowcu, który ufundowała mu żona Nadieżda. W ojczyźnie wdzięczni wychowankowie Szkoły Głównej, doceniając postawę swego rektora, w 1881 r. powołali do życia instytucję naukową – Kasę imienia Mianowskiego, fundującą stypendia dla wyróżniających się studentów. Imieniem rektora UW z trudnych lat 1862–1869 nazwano jedną z sal Pałacu Kazimierzowskiego. W dwudziestoleciu międzywojennym Mianowski został też patronem jednej z ulic na warszawskiej Ochocie.

Grobowiec rektora w Senigalli poważnie uszkodzono w czasie walk o Anconę w 1944 r. Polscy żołnierze z 2 Korpusu, przejąwszy się historią rodaka, rektora Szkoły Głównej, odbudowali wówczas kaplicę grobową na własny koszt.