Die einzig richtige Alternative wäre demnach, dass das Fehlen einer robots.txt dazu führt, dass Google die Seite nicht indexiert. Erst die robots.txt kann eine Einladung darstellen. Das halte ich aus mehreren Gründen für Sinnvoll.
100% auch meine Meinung