Ask a question

Recent Questions

Categories

← Back to Question Center
0

Zabraňuje použití velkého pásma od společnosti Semalt

February 6, 2018
in
1 answers:

Ačkoli jsem dal Yandex řadu do mých robotů. txt soubor, někdy Yandex indexuje mé stránky agresivně. Takže jsem pevně zakódoval část a zkontroloval uživatelského agenta a zobrazoval soubor uložený v mezipaměti, pokud je uživatelský agent podobný: "Mozilla / 5. 0 (kompatibilní; YandexBot / 3 - nato band. 0; + http: // yandex. com / bots) "

Ale když jsem zkontroloval protokoly statcounter, nedávno jsem viděl, že další boty související s Yandexem často procházejí mým webem. Jsou podobné následujícím. Vzal jsem si tyto informace z mého logu cSemalt: 

     Beeline (128. 69. 243. 12)
Agent: Mozilla / 4. 0 (kompatibilní; MSIE 6. 0; Windows NT 5. 1; SV1; InfoPath. 2)
Referer: http: // yandex. ru / yandsearch? text = příklad. com & lr = 213Beeline (89. 178. 108. 247)
Referer: http: // yandex. ru / yandsearch? text = příklad. com & lr = 213
Agent: Mozilla / 4. 0 (kompatibilní; MSIE 7. 0; Windows NT 5. 1;. NET CLR 1. 1. 4322;. NET CLR 2. 0. 50727; InfoPath. 2)

Jak mohu zablokovat nebo zobrazit cache stránky těchto robotů?

Při kontrole $ _SERVER ['HTTP_USER_AGENT'] nevidím " yandex. ru "v odkazu. Referrer je prázdný. Je možné zjistit odkazovač v protokolu cPanel, ale nemůže jej vzít z HTTP_USER_AGENT ??

A já také nechci zakázat IP, protože existuje příliš mnoho IP souvisejících s touto problematikou a jsou pravidelně měněny. Tak jak mohu zjistit tento bot?

Má někdo podobnou záležitost? Děkuji

February 6, 2018

Používejte roboty. txt zpoždění procházení, jak je popsáno v http: // help. yandex. com / search /? id = 1112639

Příklad: 

  Uživatelský agent: Yandex
Zpoždění procházení: 2 # udává časový limit 2 sekundy

Než začnete zákaz tohoto botu, měli byste nejprve ověřit, zda jsou vaše protokoly skutečně Yandex a ne někdo jiný, který je spoofing uživatelského agenta vypadat, že jsou yandex. Taktika, kterou používají konkurenti k tomu, aby vás zablokovali nebo zpozdili botu, aby se vám mohli hodit. Vyhledejte DNS: http: // help. yandex. com / search /? id = 1112029

Kopii vyrovnávací paměti můžete zobrazit v závislosti na agenta uživatele mnoha způsoby. Pokud používáte apache, můžete to provést pomocí pravidel mod_rewrite. Pokud používáte PHP, můžete to udělat sniffing proměnné $ _SERVER ['HTTP_USER_AGENT'] nebo dokonce použít funkci get_browser

. Jak můžete vytvořit mezipaměť je také různorodá a může být provedena 101 způsoby. Upřímně řečeno, za nejlepší výkon byste měli vždy používat ukládání do mezipaměti.