Grytviken sai nimensä vuonna 1902.' Norjalainen Carl Anton Larsen perusti paikalle 16. marraskuuta 1904 valaanpyyntiaseman, joka kuitenkin suljettiin joulukuussa 1966. Argentiinalaiset joukot valtasivat Grytvikenin Falklandin sodan yhteydessä huhtikuussa 1982.
Grytvikenissä on nykyään museo, jonka kaksi vartijaa ovat Grytvikenin ainoat vakituiset asukkaat.' Kaupungissa on myös kirkko, jota käytetään satunnaisesti palveluja varten.