„House” to niezwykle mroczny i poruszający numer, w którym można usłyszeć wiersz autorstwa samego Johna Cale'a. Charli XCX przyznała, że pomysł współpracy z muzykiem narodził się po obejrzeniu dokumentu „The Velvet Underground” Todda Haynesa. Z filmu zapamiętała, że każda piosenka musiała być zarówno „elegancka, jak i brutalna”, co posłużyło jej za inspirację do projektu.