I 1802 bestod Agger af cirka 100 familier, der levede af fiskeri.
Deres små huse var bygget af strandingstømmer og strandsten og designet til at modstå den kraftige vestenvind.
Husene havde en bærende konstruktion midt i bygningen, omgivet af smalle rum langs ydermuren, som blev kaldt udskud.
Stråtagene var store og flade, hvilket hjalp med at bryde vinden.
Fiskerhusene blev ofte bygget på en måde, så de kunne tages ned og flyttes, efterhånden som havet indtog kysten.
Fiskerhuset, et stråtækt gult hus fra 1700-tallet, er et bevaret eksempel på denne byggestil.
Det er blevet flyttet flere gange, og en skabslåge i køkkenet bærer årstallet 1749, hvilket indikerer husets oprindelige opførelse i Vester Agger.
Huset fik sin nuværende placering vest for kirken i 1850’erne.
I dag er Fiskerhuset åbent for offentligheden om sommeren, og besøgende kan opleve de lavloftede rum og en udstilling om livet i Agger.
Udstillingerne, der omhandler både menneskers livsvilkår ved hav og fjord samt den gamle byggestil, varetages af Thisted Museum.
Et andet fiskerhus fra Agger er blevet flyttet til Frilandsmuseet i København, hvor det også giver indblik i områdets historie.