robots.txt beachten

[Stephan]

Hi,

der ist super: ich stelle jetzt einfach eine Hypothese (?) auf, was die einzelnen Funktionen meiner Meinung nach bewirken könnten :-)

Ich brauche ja nur einen Teil:
----------------

$my_user_agent="User-agent: *"; //my useragent

$robots=explode("\n",$robots); // hier wird ? ich denke jede zeile einzeln gelsesen?
for ($i=0;$i<sizeof($robots);$i++){ // wenn es mehr als 0 zeilen gibt
if (trim($robots[$i])==$my_user_agent){ // rules for agent: *
for ($checkrules=1;$checkrules<10;$checkrules++){  // (?)
if (trim($robots[$i+$checkrules])!=""){  // (?)
$pos = strpos( $current_line[$count],"User-agent");
if (is_integer($pos)) break;
$pos = strpos( $current_line[$count],"#");
if (is_integer($pos)) $current_line[$count]=substr($current_line[$count],0,$pos);
$disallow_line=str_replace("Disallow: ", "" ,$robots[$i+$checkrules]);
//$disallow_line=str_replace("http://", "" ,$disallow_line);
$disallow_line=str_replace("/", "" ,$disallow_line);
$newdata[$num]=$stipped_robotsdomain.$disallow_line;
$num++;
$count++;
}
}
}
}
$forbidden=1;
for ($last=0;$last<20;$last++){
if (trim($newdata[$last])!=""){
if (preg_match("/".trim($newdata[$last])."/i",$stripped_current_url)) {$forbidden=0;}
}
}
return $forbidden;
}
Function Read_Content($url){// Open een url return content
$handle=@fopen($url,"r");
if($handle){
$contents = fread ($handle, 10000);
fclose($handle);
}
return $contents;
}

----

Also ich hab nicht viel verstanden :-) :-?

Also wenn jemand Zeit und Lust hat, kann er ihn mir ja erklären, ich will den Code jetzt auch nicht einfach einbauen, sonst habe ich da Code, den ich gar nicht kapiere :-?

Danke schon mal

Stephan
ICQ: 204789996