Buenas Simon!
Lo veo complicado, es decir, se podría pero estarías cometiendo una ilegalidad, es decir, asumiendo un riesgo legal que puede llegar en forma de multa. Al ser poco dinero no tendría cargos penales, es decir, que solo sería multa y devolver lo que se supone que tendrías que haber pagado y no hiciste…
Ahora bien, te merece la pena? pues eso tendrás que decidirlo tú.
Entiendo que para hacerlo tendrías que mentir en la factura, y tu cliente tendría que no poner pegas, ya que a los clientes también les interesa que las facturas lleven su IVA, dependiendo de la contabilidad de su empresa (si es particular claramente no)
Bueno, tampoco es que sea yo un pro de esto, así que te recomiendo consultar con tu asesoría o gestoría.
Un saludo!