Rodzina Brzozowskich herbu Korab wywodzi się prawdopodobnie z Podlasia, z okolic Poświętnego i miejscowości Brzozowo-Korabie. Udokumentowana historia rodu sięga początku XVII w., kiedy jego przedstawiciele przenieśli się na Litwę. Tam w kolejnych pokoleniach ugruntowali swoją pozycję, a w XIX w. byli już silnie związani z tym regionem. Rodzina zachowała tradycje szlacheckie oraz dbałość o wykształcenie i służbę publiczną.
W XIX i na początku XX w. Brzozowscy należeli do warstwy dobrze wykształconej inteligencji ziemiańskiej. Ojciec Tomasza, Jerzy Brzozowski, był synem Henryka Teofila i Jadwigi z Kontowtów; on oraz jego bracia zdobyli staranne wykształcenie, studiując w Wiedniu. Jerzy ukończył Wyższą Szkołę Handlową, Jan został lekarzem, Szczęsny również zdobył wykształcenie ekonomiczne, a Mieczysław był oficerem Wojska Polskiego – walczył w Legionach. Po kampanii wrześniowej zamordowany przez NKWD w Starobielsku w 1940 r. W czasie II wojny światowej wielu członków rodziny działało w konspiracji: Szczęsny współpracował z dowództwem Okręgu Wileńskiego AK, Jan służył jako lekarz w 13 Wileńskiej Brygadzie, a Jerzy działał najpierw w ZWZ, potem w AK pod pseudonimem „Sobota”. Również rodzina matki Tomasza, Szadkowscy, poniosła ciężkie straty: Józef Szadkowski zmarł w obozie w Dachau, a Stefan Szadkowski został zamordowany za ukrywanie żołnierzy Armii Czerwonej. Dziadek Aleksander Szadkowski nabył majątek Augustowo (ponad 400 ha), gdzie prowadzono m.in. produkcję mleka dla szpitali, lecz majątek został utracony najpierw w 1939 r., a następnie po reformie rolnej w 1945 r.
Po II wojnie światowej losy rodziny, podobnie jak wielu ziemiańskich rodów, uległy zasadniczej zmianie. Utrata majątku Augustowo i śmierć Aleksandra Szadkowskiego w 1945 r. zakończyły dotychczasowy model życia rodzinnego. Członkowie rodziny musieli odnaleźć się w nowych realiach społecznych i zawodowych, często podejmując pracę poza dawnym środowiskiem ziemiańskim. Mimo tych zmian zachowano pamięć o pochodzeniu, tradycjach oraz licznych powiązaniach rodzinnych, sięgających także rodów o zagranicznych korzeniach, takich jak Dicksonowie czy Butlerowie.
