Hallo,
der Bot dürfte den gesamten öffentlichen Bereich des Forums durchforsten. Anders kann er ja nicht die Webseiten im Internet katalogisieren, so daß man sie beim "googlen" mit einem bestimmten Suchbegriff finden kann.
Locutus und mir ist es nicht erst einmal passiert, daß wir beim Googlen nach bestimmten Dingen unser eigenes Forum gefunden haben
Daß die Suchmaschinen-Bots sich (sichtbar) hier tummeln, ist übrigens nichts neues. phpBB 3 ist aber so schlau, daß es diese erkennt und als "Yahoo(Bot)" oder "Google(Bot)" in der "Online"-Liste anzeigt. Früher liefen die einfach unter "Gäste", aber man konnte es im Admin-Bereich nachvollziehen.
Ich bin ehrlich gesagt erstaunt, wie oft die Bots eine relativ kleine Webseite wie diese hier durchsuchen, zumal hier ja auch nicht 100 Threads am Tag eröffnet werden. Wenn man das mal auf alle Webseiten hochrechnet, die gleich populär oder populärer sind als diese hier, muß da ein unglaublicher Aufwand an Arbeit, Rechenleistung, Speicherkapazität (und eine dicke Stromrechnung:-) ) dahinterstecken.
Gruß,
Stephan