Comment enlever de la colle sur des mur en plâtre ?

J'ai détapissé des murs et, sur certains, il y avait des panneaux de polystirène collés. La colle est restée sur le plâtre; à certains endroits, elle s'enlève par plaques mais à d'autres, elle résiste. Comment faire pour enlever le reste des plaques sachant que je veux ensuite peindre les murs et non les tapisser? Faut-il poncer? Racler? Passer un dissolvant? Merci pour vos conseils.