Após a doação do lugar de Avis à Milícia dos Freires de Évora por D. Afonso II, os freires transferiram a sua sede para este local entre os anos de 1214 e 1223. Nos primeiros anos de estabelecimento, já com a nova denominação de Ordem de São Bento de Avis, os freires iniciaram o povoamento que daria origem à vila. Assim, Fernão de Anes, o primeiro Mestre de Avis, é considerado o grande edificador da vila de Avis. Na primeira metade do século XIII foi construído o Castelo de Avis e o conjunto conventual, onde a Ordem foi sedeada. O conjunto conventual é composto pela igreja, à volta da qual foram construídos o claustro velho, a cisterna, a sala do capítulo, a sala de leitura, o refeitório, o dormitório e o Paço dos Mestres. No início do século XVII, a igreja, dedicada a S. Bento, foi reconstruída segundo um projeto do arquiteto Baltazar Álvares. Na mesma altura, o convento foi ampliado e foram construídos o claustro novo e o dormitório de S. Lamberto. Construída no início do século XVI, a sacristia é a parte mais antiga do atual templo e mantém a estrutura renascentista. Já no reinado de D. Pedro II, a capela-mor foi reedificada, mantendo-se o retábulo de talha não dourada. Depois da extinção das Ordens Religiosas, as dependências foram vendidas a particulares e os espaços acolheram usos muito diversos. Atualmente, a residência dos mestres da Ordem albergam os Paços do Concelho de Avis.