1754 blev ”Friederichs Sandsteensbrud” anlagt nord for Nexø. I stenbruddet blev der brudt de rosafarvede sandsten til de mange nye byggerier i 17-1800-tallet. Stenbruddet virkede indtil 1957, hvor efter bygningerne forfaldt og omgivelserne groede til.
I 1988 blev Stenbrudsgården bygningsfredet, og i 1992 købte Statens Bygningsfredningsfond ejendommen og satte den i stand på tag og fag.