Kuidas blokeerida otsingurobotid .htaccess failis?
Kui veebilehele tuleb liiga palju külastusi samasuguse kasutajaandmetega (User Agent) erinevatelt IP-aadressidelt, siis saab neid külastusi piirata, blokeerides need kasutajaandmed. Selleks tee oma .htaccess-failis järgmised muudatused:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} UserAgentName [NC]
RewriteRule .* - [F,L]kus tuleks 'UserAgentName' asendada otsiroboti tegeliku nimega. Näiteks kui soovid blokeerida robotit nimega 'Textbot', lisa see järgmiselt:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Textbot [NC]
RewriteRule .* - [F,L]Soovitatav on lisada kood .htaccess-faili algusesse.
Kui soovid blokeerida rohkem kui ühte otsingurobotit (nt nimega SCspider, Textbot ja s2bot), tee seda allpool olevate .htacces reeglitega:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(SCspider|Textbot|s2bot).*$ [NC]
RewriteRule .* - [F,L]Puuduva User Agent identiteediga masinate päringute blokeerimiseks lisa oma .htaccess-faili järgmised reeglid:
RewriteCond %{HTTP_USER_AGENT} ^-?$
RewriteRule ^ - [F]
