nicht angemeldet
Doch, es kann schaden! Einem Spider "ungültige" oder unbekannte Argumente vorzusetzen führt eben nicht zwangsläufig zu dem gewünschten Ergebnis. Je nach Programmierung kann Unbekanntes ignoriert oder Fehlendes ergänzt werden, muss es aber nicht. Es kann ebensogut mit einer Fehlermeldung kommentiert und als ungültig verworfen werden.
Die Angaben der robots.txt werden gewöhnlich blockweise interpretiert. Dabei beginnt der Block mit der Angabe des User-Agents. Dann folgen die nicht auszulesenden Pfade und Dateien.
Da hier nur die nicht auszulesenden Pfade und Dateien angegeben werden, ist die Angabe von erlaubten Pfaden völlig überflüssig.