Latera era la porta che dallo Stato Pontificio portava in Maremma ed anticamente la zona più viva dell'intero abitato era quella situata nella parte bassa, all'inizio del borgo, che ancora conserva il nome di "Osteria". Li si trovava la locanda dove si fermavano forestieri e viaggiatori che andavano o tornavano dalla Maremma e dove andavano i paesani a bere un bicchiere di vino e a passare il tempo libero dai lavori nei campi.
L'Osteria, a fianco della chiesa di S.Pietro e subito prima dell'omonima porta, era di proprietà del comune e compariva già nello statuto del 1479 insieme alle disposizioni che venivano impartite all'oste che se ne aggiudicava l'affitto ed acquisiva il diritto di vendere il vino, di alloggiare e di amministrare il vitto si forestieri.
Il piano terra era composto da due grandi vani comunicanti tra loro che venivano usati come stalla per gli asini, i muli ed i cavalli dei forestieri ; al primo piano c'era la cucina, un vano per mangiare e due stanze per dormire. C'era poi un secondo piano dove si trovavano le cosiddette " stanze del Commissario" probabilmente riservate ai notai, commissari o personalità che arrivavano a Latera per questioni d'ufficio. Faceva parte dell"Osteria, ma fuori dalla Porta, un'area recintata che alloggiava il bestiame di passaggio o gli animali che le guardie trovavano a provocar danni nelle proprietà private.
Il periodo di maggior importanza per l'Osteria, iniziò a partire dal 1639, quando il duca Pietro Farnese istituì la Fiera di Merci e Bestiame e fece costruire nel 1646 una lunga vasca in muratura per abbeverare il bestiame, conosciuta ancora oggi come "Fontana del'Osteria".
Attualmente non esiste alcuna traccia ne' della porta ne' dell'Osteria ed al suo posto c'è' un edificio recentemente destinato dal comune all'ampliamento del Museo della terra.
