Gunnars Vorschlag mit removeEventListener() war doch der richtige Ansatz. Ich habe dafür aus den anonymen Funktionen im addEventListener() benannte Funktionen gemacht und entferne nach dem Aufruf den EventListener direkt wieder. So konnte auch der dämliche Schalter wieder raus.

Danke für die Hilfe und schöne Grüße

Nico