Die Stadt, die auf einem der größten unterirdischen Grundwasserleiter im Süden Portugals, dem Querenca-Silves-Aquifer, gebaut ist, erstreckt sich über den Fluss und behält ein Tor im Medina-Stil, die Porta de Loule und Teile der gegossenen Betonwände, die aus der Zeit der Maurische Besetzung
Das Gebiet ist seit der Altsteinzeit bewohnt, aber die Stadt erreichte ihren Höhepunkt nach der maurischen Invasion der Iberischen Halbinsel im Jahr 713. Jahrhundert war Silves, damals Xelb genannt, die Hauptstadt des Gebiets, das heute als Algarve bekannt ist.
Heute ist Silves ein attraktiver, charmanter Ort für Cafés im Freien und duftende Orangenhaine, die von einer der am besten erhaltenen Burgen der Algarve dominiert werden. Das maurische Fortaleza, das über eine komplette Reihe von Sandsteinmauern und freistehenden Türmen verfügt, nimmt zwölftausend Quadratmeter auf dem Hügel ein, der die Stadt überblickt. Eisenzeitliche Überreste wurden gefunden, zusammen mit einem Brunnen, einem Gouverneurspalast und der Cisterna Grande, einer Wasserzisterne aus dem 13. Jahrhundert, die einst der ganzen Stadt diente. Die Zisternesteht steht zehn Meter hoch, wird von sechs Säulen gestützt und soll vom Geist eines maurischen Mädchens verfolgt werden. Ein garten im maurischen Stil wurde vor kurzem neu gestaltet und ist täglich für Besucher geöffnet, zusammen mit dem Rest der Fortaleza, deren Mauern einen beeindruckenden Blick über die Stadt und die umliegende Landschaft bieten.
Unterhalb der Fortaleza befindet sich die Kathedrale von Silves, die an der Stelle einer großen Moschee errichtet wurde und von breiten gotischen Türmen flankiert wird. Die Kathedrale behält einige ihrer ursprünglichen Pracht. An den Mauern der Kathedrale befinden sich Gräber von Bischöfen und Kreuzfahrern, die starben, als sie Silves von den Mauren zurücknahmen. Gegenüber der Kathedrale, von denen viele aus dem achtzehnten Jahrhundert stammen.
Eine stillgelegte Korkfabrik, bekannt als Fabrica do Ingles (englische Fabrik), beherbergt ein paar Museen und eine Ansammlung von Bars, Cafés und Brunnen, die im August während des jährlichen Bierfestes der Stadt lebendig werden. Es gibt einen Markt am Flussufer, in der Nähe einer schmalen Brücke aus dem 13. Jahrhundert, jeden Morgen von Montag bis Samstag.