Laikā, kad visapkārt ložņā dažādi nenoteiktas izcelsmes indeksētāji, ir būtiski nodalīt “labos” no “sliktajiem”. Vienā gadījumā mūsu lapa tiks noindeksēta un parādīsies kādā resursās, kas mums dos papildus trafiku, bet otrā gadījumā mūsu komentāros parādīsies nelūgti viesi, kas tīksmināsies par mūsu foršo lapu un aicinās pie sevis aplūrēt lolitas vai arī sūtīs uz sazvejotām e-pasta adresēm jaunākos vi4gras piedāvājumus. Google vīri piedāvā savu risinājumu kā noteikt vai tas, kas sauc servi par Googlebot, tiešām ir savējais.

Telling webmasters to use DNS to verify on a case-by-case basis seems like the best way to go. I think the recommended technique would be to do a reverse DNS lookup, verify that the name is in the googlebot.com domain, and then do a corresponding forward DNS->IP lookup using that googlebot.com name; eg:

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

I don’t think just doing a reverse DNS lookup is sufficient, because a spoofer could set up reverse DNS to point to crawl-a-b-c-d.googlebot.com.