Du machst was falsch, ich hab es grad probiert das geht so.
Also um uns mal zu verständigen, ich habe das gebaut (jetzt mal nur für den Mozilla):
document.addEventListener("mouseout",function(e) {
if (!e.relatedTarget) {
alert("Maus außerhalb des Dokumentes!");
}
},false);
Probier das mal bei dir aus, und sag mir wann bei dir ein alert - Meldung kommt. Bei mir kommt sie 2x, bei rein- und rausfahren ins document.
Grüße