Danke für eure Antworten. Ich hab den Fehler selbst behoben. Ich hatte das favicon nicht "favicon.ico" genannte, sondern einen anderen Namen mit der Dateiendung *.ico vergeben.
Anscheinend hat sich das dann so ausgewirkt (zumindest im Firefox), dass man nur im Wurzelverzeichnis das Icon angezeigt bekommt.