Goat Girl a vu le jour en 2015, lorsque les quatre Londoniennes (Lottie Cream, L.E.D, Naima Jelly et Rosy Bones) se sont rencontrées grâce à leur amour de la musique et à leurs attitudes similaires, se croisant continuellement lors de nombreux concerts et soirées open mic dans le sud de Londres. La combinaison des talents et de l'enthousiasme du quatuor a donné naissance à un son unique et provocant, au lyrisme conscient, qui n'a pas tardé à intéresser le légendaire label britannique Rough Trade.
Utilisant le Brixton Windmill comme caisse de résonance, le son déformé et teinté de country de leur premier album 'Goat Girl' a englouti le paysage sonore et social dont le groupe était entouré, citant comme influences leurs congénères des groupes Bat-Bike, Horsey, Meatraffle et Warmduscher. Le Brixton Windmill est un lieu qui a été et continue d'être un vivier de créativité pour Goat Girl, et qui est un élément important de leur croissance - à tel point que c'est là que le groupe a rencontré sa nouvelle bassiste (Holly Hole), qui s'est sentie sur la même longueur d’onde que le groupe dès le premier jour et qui allait prendre la place de Naima Jelly à la basse après le premier album.
Pour leur deuxième album, le quatuor britannique Goat Girl s’entoure de Dan Carey (Kate Tempest, black midi, Franz Ferdinand) à la production. 'On All Fours' propose un discours affiné sur l'injustice dans le monde et les inégalités sociales, utilisant les synthés sci-fi, boîtes à rythmes analogiques et riffs bruts qui les ont fait connaître.