Hallo Felix,
aber dein eigentliches Problem des "Filterns" könntest du doch mit cancelBubble resp. stopPropagation geknüpft an ein Unter-Element des LI-Elements trotzem lösen, oder ist es möglicherweise geanu das dynamische Zuweisen der Eventhandler, was es so langsam macht?
Sollte dem so sein, dann glaube ich kaum, dass es überhaupt eine Lösung für dich gibt. Wenn du überall die Eventhandler von Hand einträgst (eigentlich indiskutabel) oder serverseitig generierst bin ich auch skeptisch, ob es schneller würde.
Gruß Gernot