Город, который построен на вершине одного из крупнейших подземных водоносных горизонтов на юге Португалии, водоносного горизонта Кверенко-Силвеш, граничит с рекой и сохраняет ворота в стиле Медины, Порта-де-Луле, и части залитых бетонных стен, которые восходят к временам Мавританская оккупация
Этот район был заселен со времен палеолита, но город достиг своего пика после мавританского вторжения на Пиренейский полуостров в 713 году. К десятому веку, Сильвеш, который тогда назывался Ксельб, был столицей района, теперь известного как Алгарве.
Сегодня Сильвеш является привлекательным, очаровательным местом кафе под открытым небом и душистыми оранжевыми рощами, в которых доминирует один из наиболее хорошо сохранившихся замков в Алгарве. Мавританская Форталеза, которая может похвастаться полным набором стен из песчаника и отдельных башен, занимает двенадцать тысяч квадратных метров на вершине холма, который выходит на город. Останки железного века были найдены, наряду с колодцем, дворцом губернатора и Цистерной Гранде, цистерной xIII века, которая когда-то обслуживала весь город. Цистерна стоит десять метров в высоту, поддерживается шестью колоннами и, как говорят, преследует призрак мавританской девы. Недавно был воссоздан сад в мавританском стиле, который ежедневно открыт для посетителей, а также для остальной части Форталезы, стены которого предлагают впечатляющий вид на город и окружающую сельскую местность.
Под Форталезой находится собор Силвеша, построенный на месте большой мечети и окруженный широкими готическими башнями. Собор сохраняет часть своего первоначального величия. Подкладка стен собора гробницы, принадлежащие епископов и крестоносцев, которые умерли принимая Сильвеш обратно от мавров. Напротив собора, большая часть которого восходит к восемнадцатому веку.
Несуществующая пробковая фабрика, известная как Fabrica do Ingles (фабрика англичан), является домом для нескольких музеев и скопления баров, кафе и фонтанов, которые оживают в августе во время ежегодного фестиваля пива в городе. Существует рынок на набережной, рядом с узким мостом тринадцатого века, каждое утро с понедельника по субботу.