Po śmierci artysty w 1991 roku, jego dom zaczął służyć jako mekka, gdzie fani zaczęli oddawać hołd za pomocą street artu oraz listów. Artystyczna a zarazem kontrowersyjna postać Serge’a stała się ikoną kultury, a to w konsekwencji zainspirowano jego córkę Charlotte Gainsbourg do przekształcenia domu jej ojca w muzeum. Po wieloletnich planach, drzwi 5 bis rue de Verneui otworzyły się dla zwiedzających.