Rodzina Skarbków wywodzi się z Jutlandii, a pierwsze informacje o jej obecności na ziemiach polskich pochodzą z 1029 r. Początkowo Duńczycy zostali osadzeni w Wielkopolsce nad rzeką Obrą, gdzie rozwijali rolnictwo i przekazywali swoją wiedzę lokalnej ludności. Skarbkowie uczestniczyli w bitwie pod Grunwaldem w 1410 r., a w XIII wieku rozprzestrzenili się na Ruś Czerwoną i w okolice Inowrocławia. Posiadali dwory, m.in. w Osięcinach i Żelazowej Woli, którą wynajmowali rodzinie Fryderyka Chopina. W XVIII wieku Fryderyk Skarbek (1792–1866) był profesorem Uniwersytetu Warszawskiego i ojcem chrzestnym Fryderyka Chopina.
Majątkiem rodzinnym były Giejsztowty które są położone między Lidą a Raduniem nad rzeką Dzitwą, majątek sąsiadował z historycznymi Surkontami.
W XIX wieku potomkowie Skarbków rozwijali majątki ziemskie i działalność publiczną. Część rodziny osiedliła się w Górach Świętokrzyskich, gdzie hodowano bydło, konie i trzodę chlewną. Linia lwowska rodziny wybudowała w Lwowie Teatr Opery i Baletu Ukrainy, wzorowany na wiedeńskim, a Stanisław Skarbek zasiadał w rządzie II RP.
W czerwcu 1944 r. w Giejsztowtach przez dwa dni w jednym z zabudowań dworskich leżały zwłoki poległego kpt. Jana Piwnika „Ponurego”, następnie rodzina Skarbków zorganizowała pogrzeb „Ponurego” na cmentarzu w Wawiórce. Majątek ten rodzina opuściła w 1947 r., po uprzednim przekazaniu części dóbr władzy sowieckiej i wykonaniu kontyngentów na rzecz Sielsowietu. Część członków rodziny wyjechała do Polski z innych terenów, a majątek przeszedł pod administrację terenową. Rodzina utrzymała swoje tradycje i związki z dawnymi posiadłościami, mimo utraty własności i konieczności adaptacji w nowej rzeczywistości powojennej.