Руины замка Ажер (cat. Castell d’Àger), вместе с остатками коллегиальной церкви Св. Петра (cat. Sant Pere), занимают высокий холм, доминирующий над городком Ажером (cat. Àger). Районы Сант Пере (cat. Sant Pere), Cант Марти (cat. Sant Martí), Солдевила (cat. Soldevila) и улица Педро (cat. carrer del Pedró), которые уступами расположены ниже замка, когда-то находились в окруженном стеной периметре. За стенами образовались «выселки» – Сант Марти и Педро.

Долина и замок Ажера были завоеваны Арнау Миром де Тостом (cat. Arnau Mir de Tost) в первой половине XI века. К тому времени относятся документальные сведения о замке и прилегающей к нему территории: в 1034 году крепость упоминается в качестве владения Арнау Мира де Тоста. В 1046 году городок опять был отвоеван мусульманами, а в 1048 году Арнау Мир его отбил, на этот раз окончательно. В акте дара некоторых земельных аллодов, оформленном Арнау Миром в пользу Оллемара (cat. Ollemar) и Ксено (cat. Xeno) в 1038 году уточняется, что они расположены «in kastrum de Ager» – в замке Ажер, и уточняется, с чем граничат участки: «с востока – с Ногерой (cat. Noguera), с юга – с горной грядой Нор (cat. sera de Nor), с запада – с Ногеролой (cat. Noguerola), c с севера – горной грядой Арес (cat. sera de Ares)». Эти же топонимы повторяются в 1042 году при описании границ аллодов, уступаемых Эксабелю (cat. Exabel) и Гароке (cat. Garoca), а также в документах от 1060 и 1068 гг.

Ничто не указывает на римское происхождение замка, но вполне возможно поговорить о его мусульманских корнях. В хронике «Аль Удхри» (cat. al-‘Udhrï) упоминается строительство различных крепостей, среди которых называется «Айира» (cat. Ayira). Замок Ажер возник в начале периода организации Верхней Границы в эпоху халифата. Оценив выдающееся стратегическое положение и отличное качество постройки, Арнау Мир де Тост превратил крепость в свою столицу и излюбленное место жительства; граф наделил городок практически абсолютной юрисдикцией и автономией на этой приграничной территории.

В 1061 году упоминается, что в замке была «палата» (cat. camera), то есть парадная зала – обязательный элемент жилища феодала того времени. В 1068 году Арнау Мир де Тост и его жена Арсенда (cat. Arsenda) уступили замок аббатству Св. Петра что в Ажере (car. Sant Pere d’Àger), которое и стало владельцем замка, а аббат – сеньором соответствующего аллода. Тем не менее, замок оставался в руках семьи Кабрера (cat. Cabrera), виконтов Ажерских, а позднее и графов Уржельских (cat. comtes d’Urgell), потомков Арнау Мира де Тоста, которые являлись вассалами аббатства Св. Петра что в Ажере – эта сложная ситуация спровоцировала немало конфликтов, документальные свидетельства о которых растянулись на несколько веков.

В время Войны Жнецов (cat. Guerra dels Segadors) (1640-1652) Ажер сражался против испанского короля Филиппа IV (cat. Felip IV). В 1644 году, после упорного сопротивления, когда у защитников закончились все запасы продовольствия, замок был занят королевскими войсками. Через год в городе опять вспыхнуло восстание, но уже в октябре 1646 года, после захвата замка, городок Ажер вновь вернулся под власть испанской короны. В 1652 году восстание повторилось, но было в очередной раз подавлено, на этот раз окончательно.

Принимая во внимание былое величие, дошедшие до наших дней остатки замка, высящиеся на укрепленном холме рядом с коллегиальной церковью, совсем невелики. Наиболее выдающимся элементом замка должен был быть парадный зал или укрепленный дворец, служивший резиденцией виконтов. От замка сохранилась часть первого этажа большого прямоугольного здания, разделенного на два параллельных нефа, которые расположены ниже уровня пола церкви. Похоже, что поверх этих нефов размещался парадный зал укрепленного дворца, подобно другим – сохранившимся – образцам архитектуры той же эпохи (например, замок Льорда (cat. castell de Llordà), построенный чуть раньше по приказу того же Арнау Мира де Тоста). С востока от нефов проходит стена. Ширина нефов составляет около 3 метров, длина – более 16 м. Высота, похоже, превышала 5 метров. Скорее всего, потолок имел форму коробкового свода.

Кладка состоит из камней среднего формата (15 см х 30 см), ее можно датировать XI веком.

Чтобы понять логику этой постройки, следует принять во внимание, что стены верхнего периметра защищали всю вершину холма, вместе с религиозными зданиями, находившимися на территории замка. Колокольни и абсиды могли выполнять важную оборонительную функцию. Эти элементы коллегиальной церкви были расширены за счет территории замка. Также, впритык к клуатру церкви, сохранились руины зданий, которые, скорее всего, относились к крепости; возможно, они появились даже раньше укрепленного дворца.

Недавно было обнаружено основание сторожевой башни, построенной по приказу Арнау Мира де Тоста и игравшей ведущую роль в защите долины Ажера, благодаря координации с другими дозорными башнями – Кларамунтом (cat. Claramunt), Фонтдепоу (cat. Fontdepou), Торре де Сануй (cat. Torre de Sanuy), Торре дель Негре (cat. Torre del Negre) и т.д. С диаметром в 18 метров, толщиной стен в 2 метра и предполагаемой высотой около 20 метров – эта башня считается одним из самых крупных военных сооружений Каталонии.

Как дворец виконтов, так и сторожевая башня относятся к XI веку – времени постройки замкового комплекса на руинах более древних укреплений: стена, окружавшая вершину холма, относится к IX веку и может иметь мусульманское происхождение.