V průběhu století byla tato nevelká obec, kterou najdeme asi 7 kilometrů jihozápadním směrem od Písku, rozdělena do tří částí, z nichž každá měla samostatnou tvrz. Roku 1491 získal ves do vlastnictví Jindřich ze Švamberka, který kestřanské panství spojil a připojil je ke zvíkovskému. V roce 1700 přešly Kestřany do majetku rodu Schwarzenbergů a byly připojeny k panství protivínskému.
Z původních tří tvrzí jsou v Kestřanech dochovány dvě, Horní a Dolní, které jsou považovány za nejlépe dochované na území České republiky. V jejich sousedství stojí i zámek a kostel.
Původ horní tvrze je kladen do druhé půle 13. století. Nejstarší částí této tvrze je tzv. purkrabství v severní polovině nádvoří, které si dosud zachovalo v přízemí raně gotické klenby a portály. Pravděpodobně již koncem 14. století bylo toto jádro sevřeno hradbou se dvěma hranolovými obytnými věžemi při jihozápadním nároží a na východní straně a rovněž menší válcovou věží na severovýchodě. Součástí východního křídla paláce byla kaple sv. Maří Magdalény, klenutá sklípkovou klenbou. Tvrz je obehnána příkopem původně napájeným vodou z blízkých rybníků. Dřevěný zdvihací most k bráně nahradil v 18. století dnešní kamenný. Sál paláce získal v 16. století renesanční klenbu s bohatou freskovou výzdobou zjištěnou sondami.
Dolní tvrz je obehnána hradbou, která je v severním nároží zesílena válcovou baštou. Vchod do tvrze býval původně ze západu. Uprostřed obdélného dvora stojí hranolová dvoupatrová věž, která bývala kdysi obytná. Na hradbě, baště a věži můžeme ještě dnes vidět stopy po krakorcích, na nichž spočívaly hrázděné ochozy. Při jižní straně hradební zdi je přistavěno přízemní obytné stavení s gotickým portálkem, jenž později sloužil jako sýpka. V severozápadním nároží je menší budova s renesanční klenbou.
V sedmnáctém století vystavěl Karel Paar, který získal Kestřany sňatkem s Františkou Polyxenou ze Švamberka, naproti dolní tvrzi raně barokní zámek a při něm založil okrasnou zahradu a vinici. Panství později několikrát změnilo majitele, až se v roce 1700 dostalo do majetku Schwarzenberků. Dvoupatrový raně barokní zámek měl původně při východním boku arkádovou chodbu a v klenutém přízemí salu terrenu se štukovou výzdobou, na kterou navazovala okrasná zahrada. Střední díl chodbového traktu byl zbořen v první třetině 19. století.
Tvrze i zámek jsou nyní v rekonstrukci, ale majitelé i personál jsou velmi vstřícní a nejen, že umožní zvědavým návštěvníkům vstup do areálu, ale i do některých rekonstruovaných objektů.
Naproti zámku na návsi stojí původně raně gotický kostel sv. Kateřiny, přestavěný roku 1852. V obci dále naleznete výklenkovou kapličku sv. Floriána z 1. poloviny 19. století a kapličku sv. Jana Nepomuckého.