C’est à l’occasion de la venue de Simon de Montfort dans le Sud-Ouest en 1214 que le nom du village est cité. La seigneurie de Dolmayrac dépendait des Montpezat. C’est un village de forme allongée, établi sur un éperon dominant la vallée du Lot. Ce bourg castral était défendu par deux édifices fortifiés (construits aux 13ème et 14ème siècles) : l’un  à la pointe de l’éperon (tour en ruine) et l’autre du côté du plateau (c’est la tour qui abrite aujourd’hui la salle du conseil municipal). Des remparts en pierre de taille, dont il subsiste quelques vestiges, reliaient ces deux points forts. Dolmayrac est mentionné comme castrum en 1271. La tour n’était pas isolée comme aujourd’hui, comme en témoignent l’arrachement sud, une porte au premier étage, et le cadastre de 1836. La tour de Dolmayrac, construite à la fin du 13ème ou au début du 14ème siècle, protégeait le village du côté du plateau, où les défenses naturelles sont moindres. Le dispositif de défense comprenait la tour conservée, les remparts enserrant le village jusqu'à un édifice à la pointe de l'éperon (vestiges de deux tours, site de l'ancien château en ruines au 18ème siècle d'après la carte de Cassini). En 1856, la commune projette d'acheter l'ancien château à Madame Naissant, afin d'y établir la mairie. L’acquisition est réalisée en 1859 (pour 3.750 Francs d’époque).