Ačkoli jsem dal Yandex řadu do mých robotů. txt soubor, někdy Yandex indexuje mé stránky agresivně. Takže jsem pevně zakódoval část a zkontroloval uživatelského agenta a zobrazoval soubor uložený v mezipaměti, pokud je uživatelský agent podobný: "Mozilla / 5. 0 (kompatibilní; YandexBot / 3. 0; + http: // yandex. com / bots) "
Ale když jsem zkontroloval protokoly statcounter, nedávno jsem viděl, že další boty související s Yandexem často procházejí mým webem - computer rental. Jsou podobné následujícím. Vzal jsem si tyto informace z mého logu cSemalt:
Beeline (128. 69. 243. 12)
Agent: Mozilla / 4. 0 (kompatibilní; MSIE 6. 0; Windows NT 5. 1; SV1; InfoPath. 2)
Referer: http: // yandex. ru / yandsearch? text = příklad. com & lr = 213Beeline (89. 178. 108. 247)
Referer: http: // yandex. ru / yandsearch? text = příklad. com & lr = 213
Agent: Mozilla / 4. 0 (kompatibilní; MSIE 7. 0; Windows NT 5. 1;. NET CLR 1. 1. 4322;. NET CLR 2. 0. 50727; InfoPath. 2) Jak mohu zablokovat nebo zobrazit cache stránky těchto robotů?
Při kontrole $ _SERVER ['HTTP_USER_AGENT'] nevidím " yandex. ru "v odkazu. Referrer je prázdný. Je možné zjistit odkazovač v protokolu cPanel, ale nemůže jej vzít z HTTP_USER_AGENT ??
A já také nechci zakázat IP, protože existuje příliš mnoho IP souvisejících s touto problematikou a jsou pravidelně měněny. Tak jak mohu zjistit tento bot?
Má někdo podobnou záležitost? Děkuji