Troldhaugenin suunnitteli Griegin serkku, arkkitehti Schak Bull. Grieg asui siellä vaimonsa Nina Griegin kanssa vuosina 1885–1907. Heidän hautansa sijaitsee talon pihalla. Talon läheisyydessä on laakso, johon rakennettiin vuonna 1985 pieni konserttitalo.
Tälle kodille on omistettu eräs Griegin rakastetuimpia sävellyksiä, Hääpäivä Troldhaugenilla.