Il palazzo baronale
Viene così costruito, intorno alla robusta torre di epoca medievale a base quadrata, provvista di ponte levatoio e di fossato perimetrale, l'elegante e sobrio Palazzo Baronale di gusto rinascimentale, che domina ancora la valle degli ulivi a Sud, accompagnando agevolmente lo sguardo fino al mare, oltre i tetti di Lizzano. Situato nel centro storico, fu costruito nel 1587, sicuramente a scopo difensivo ed è ritenuto il palazzo più antico del paese. La costruzione è fatta con conci di carparo perfettamente squadrati, ricoperti da uno strato di calce nel solo prospetto meridionale. Alcuni decenni fa sono state rinvenute ossa umane al di sotto del pavimento del piano inferiore, da ricollegare, probabilmente, alla presenza dei trabocchetti.
Sul lato occidentale di un suo terrazzo, proprio a dominare il bel centro della piazza Regina Elena, si erge la statua in carparo di Santa Irene, antica protettrice di Lecce, mentre salendo sulla sommità della sua torre antica, si possono osservare senza troppi sforzi i castelli circostanti di: Monteparano, Roccaforzata, San Marzano di San Giuseppe, Grottaglie, Sava e addirittura quello più lontano di Oria.
Nel Novecento, il Palazzo Baronale, ormai disabilitato, diviene proprietà della famiglia Tamborino Frisari di Maglie e viene in parte utilizzato a stabilimento vinicolo. Così gli vengono scavate e cementate capienti cisterne per il contenimento del vino. È risorto negli anni settanta, quando è stato adibito temporaneamente a sede del Municipio ed attualmente, tornato ad essere di nuovo abbandonato, è in attesa di essere richiamato all'attenzione di tutti. Infatti nella volontà degli attuali proprietari è allo studio la possibilità di adibirne i locali del piano terra a Museo, ove custodire i numerosi reperti archeologici dell'antico sito, divisi tra il Museo di Taranto ed altre collezioni private.
Il palazzo marchesale
Nel 1701, viene edificato (prospiciente l'attuale piazza Regina Elena) l'imponente Palazzo Marchesale, per volere del marchese Francesco Maria dell'Antoglietta, sensibile poeta dell'Arcadia, essendo il vecchio Palazzo Baronale non più rispondente ai nuovi gusti della filosofia barocca. Il nuovo edificio, quasi di fronte al primo, sobrio, imponente ed allo stesso tempo elegante, diviene così la nuova residenza dei marchesi fino al 1797, anno in cui i coniugi dell'Antoglietta cedettero tutte le loro proprietà alla famiglia Carducci Agustini di Taranto, che divennero i nuovi ed ultimi feudatari di Fragagnano.
Il palazzo, che rappresenta sicuramente la tessera più preziosa del centro storico fragagnanese, era la residenza abituale dei marchesi che ne hanno mantenuto la proprietà fino all'abolizione del feudalesimo. A pianta rettangolare, in carparo rosato, è una struttura al di fuori dei consueti canoni barocchi, è anzi un esempio di soluzione architettonica polivalente, che serviva tanto da residenza quanto da fortificazione. Una maestoso portale immette in un cortile trapezoidale dal quale prendono luce gli ambienti superiori. Al tempo del suo massimo splendore il piano superiore era formato da un ampio salone dai tetti voltati a crociera semplice o stellare e una stanza, detta la camera pittata, conteneva degli affreschi simili per stile alle pitture pompeiane. Gli alloggiamenti degli stallieri, magazzinieri, il corpo di guardia e le cucine erano ubicate a piano terra che aveva nel retro anche le stanze e gli abbeveratoi. Nel retrostante giardino, provvisto di pergolato e odoroso frutteto, i marchesi trovavano refrigerio nei giorni di calura.
Non sono mancati nel corso degli ultimi anni progetti di risanamento, da quando un incendio ne devastò i tetti nel 1920, consegnandolo ad un lento, ma inesorabile, degrado. I piani di restauro non hanno tuttavia mai trovato validi riscontri sul livello pratico, cosicché il palazzo non è utilizzabile se non per poche sale al piano terra.
Trasferitasi a Taranto la famiglia Carducci, il grande palazzo è stato abbandonato e donato (nl 1979) al Comune, nel tentativo di salvarlo dal degrado inesorabile. L'edificio è attualmente imprigionato da antiestetiche orditure metalliche che ne rallentano l'inesorabile crollo, causato dalle crepe e dalle intemperie che penetrano nel palazzo dall'alto, no avendo più la struttura un tetto.
Altri palazzi signorili
Nei primi anni dell'Ottocento è stato edificato nell'antica via Garibaldi, l'elegante e signorile Palazzo Fanuzzi, attualmente abitato dagli eredi Russo. Di mirabile fattura il cortile interno con l'ampio scalone.
Ancora nella elegante via Garibaldi angolo Pozzo dolce, è presente il signorile palazzo Tomaselli, tipica residenza della borghesia terriera pugliese, con al piano terra un'ampia rimessa di attrezzi e macchine agricole ed il primo piano adibito a piano signorile dalle eleganti e simmetriche linee neoclassiche.