Найвизначнішою памяткою міста, безумовно, є названий на честь засновника, Замок Любарта (Верхній). Великий князь Волинський і Галицький - Любарт Гедимінович почав будівництво замку в 1340-му році.
