Ellenőrizze, hogy egy IP-cím és User-Agent valóban a Googlebot, Bingbot, OpenAI SearchBot, Yahoo, Seznam, Meta (Facebook), Qwant, DuckDuckGo vagy más nagy crawlerekhez tartozik-e.
A szolgáltatók JSON-feedjei 12 órára gyorsítótárazódnak; a Yandex és Seznam statikus hivatalos CIDR-eket használ.
Az igazi bizonyíték az IP-cím: egy crawler csak akkor megbízható, ha az IP-je a szolgáltató által közzétett hivatalos CIDR-tartományokba esik. A User-Agent segíthet, de könnyen hamisítható; a scraperek gyakran másolják a UA-karakterláncokat miközben véletlenszerű hálózatokról érkeznek. Ha az IP nem a szolgáltató tartományában van, megjelöljük a kérést, függetlenül attól, mit mond a UA.
Igen, mind az IPv4, mind az IPv6 hálózatok teljes mértékben támogatottak.
Az élő demó felületről indított minden kérés ugyanannyi kreditet fogyaszt, mint egy közvetlen API-hívás.