Veebirobotid on tänapäeval interneti lahutamatu osa, kuid soovi korral võib neist ka vabaneda. Miks ja kuidas seda teha, räägib Veebimajutuse partner, PauseIT veebiarendaja Tanel Nigul.
Mis on veebirobotid ja mida nad teevad?
Veebirobotid ehk crawlerid on otsingumootorite alustala. Nende eesmärk on kammida läbi kõikvõimalikud veebilehed, et sinu otsingule vasteid anda. Nad tulevad su veebilehele, vaatavad, kas seda on uuendatud ja annavad uue info otsingumootorile edasi, läbi mille on otsingutulemustes alati hiliseim informatsioon.
Milliseid roboteid olemas on? Kas need kõik on ühesugused või on seal mingid erinevused?
Inglisekeelseid nimetusi veebirobotitele on palju, kuid need kõik tähendavad sama asja. On palju erinevaid veebibotte, -ämblikke ja -kammijaid, kuid nende eesmärk on reeglina sama. Mõned populaarsemad veebirobotid on Bing Bot, Google Bot ja Yandex Bot.
Kuidas teha nii, et robotid ei saaks mingit teatud osa minu lehelt vaadata?
Kui sa soovid mõned kohad oma veebilehel robotitele ära keelata, saad sa seda teha kasutades disallowkäsklust enda robots.txt failis.
Põhjuseid selleks võib olla palju, kuid enimlevinumad oleks ehk ära keelata teatud sildid, märksõnad, halduspaneelid ja premium- ehk tasuline sisu.
Mis on robots.txt fail?
Robot.txt fail kontrollib veebiroboti käitumist ehk annab talle teada, kus ta veebilehel käia võib ja kus mitte. Lõppotsus on siiski robotite enda kätes, kuid üldjuhul kasutavad nad head tava ehk kui oled mingi ala veebilehel nendele ära keelanud, siis reeglina sinna nad ka ei lähe.
Selle faili kasutamine ei ole midagi keerulist. Koostada tuleb lihtsalt robot.txt fail ja laadida see enda kodulehe serverisse. Tuntumad kodulehemootorid ja sisuhaldussüsteemid (nagu Wordpress) teevad selle juba sinu eest ära. Enda praegust robots.txt faili näed aadressil sinudomeen.ee/robots.txt.
Miks veebirobotid minu lehel käivad või miks nad seal ei käi?
Nagu esimeses vastuses mainisin, käivad nad sinu kodulehel otsimas uuendusi ja muudatusi, mida otsingutulemustes avaldada. Leitud informatsiooni alusel määratakse ka see, kui kõrgel sinu koduleht otsingutulemustes asub. Juhul, kui sinu robots.txt fail just veebiroboteid pole ära keelanud, käivad nad sinu kodulehel igal juhul.
Kas igaüks võiks endale veebiroboti teha? Kas selleks on üldse vajadust?
Kindlasti võiks igaüks endale oma veebiroboti luua, aga kui sinu eesmärk pole just uue otsingumootori loomine, pole sellel lihtsalt mõtet.
