Будинок д'Аллена почали будувати в 20-х роках (що збіглося з часом, коли в Порту будували серію особняків) для резиденції 3-го віконта Вільяр д'Аллена. Архітектор Жозе Маркес да Сілва відповідав за дизайн проекту Будинку, проте Аллени внесли кілька змін всередині. Це вплинуло на фасад будинку, який зазнав послідовних змін. Віконт Жоакім Айрес де Гувея Аллен був інженером за освітою і консулом Бельгії в Порту, позначений як «змішаний аристократ і капіталіст». Він також мав комерційні зв’язки та родинні зв’язки (через шлюб із Касою Рамос Пінто (одна з найстаріших родин у виробництві портвейну)). Між 1988 і 1991 роками в садах Каса д'Аллен був побудований Casa das Artes. Розроблений архітектором Едуардо Соуто Моура. Будівлю характеризують як «тихий і стриманий твір, багатий посиланнями на сучасних майстрів і традиціями місцевих форм і матеріалів, він майже непомітний поряд із роботою Маркіза да Сілви (1869-1947) і будує один із унікальних садів».
Наразі обидві структури підпорядковані та підпорядковані обласному управлінню культури Півночі.