Որոնողական ռոբոտ
Որոնողական ռոբոտ («վեբ-սարդ»), որոնողականի տվյալների հենք տվյալների մուտքագրման նպատակով ինտերնետային էջերի ընտրության համար նախատեսված և որոնման համակարգի բաղկացուցիչ հանդիսացող ծրագիր է։
Գործողությունների սկզբունքով սարդը հիշեցնում է սովորական բրաուզերին։ Այն վերլուծում է էջի բովանդակությունը, որոշակի հատուկ տեսքով պահպանում է այն որոնողական մեքենայի սերվերի վրա և հղումներով անցնում է հաջորդ էջերին։ Որոնողական մեքենաների տերերը երբեմն սահմանափակում են կայքի ներսում սարդի մուտքի խորությունը և տեսածրվող տեքստի առավելագույն չափը, ինչի հետևանքով որոնողական մեքենան կարող է չափազանց մեծ կայքերն ինդեքսավորել ոչ ամբողջովին։
Բացի սովորական սարդերից գոյություն ունեն այսպես կոչված «փայտփորիկներ»՝ ռոբոտներ, որոնք «թակում են» ինդեքսավորված կայքը, որպեսզի ստուգեն դրա հասանելիությունը։ Էջերի շրջանցման կարգը, այցելության հաճախությունը, ցիկլավորումից պաշտպանությունը, ինչպես նաև նշանակալի տվյալների առանձնացման չափանիշները որոշվում են տվյալային որոնման ալգորիթմներով։ Մեծ մասամբ մի էջից մյուսին անցումն իրականացվում է առաջին և հաջորդող էջերում պարունակվող հղումներով։ Շատ որոնման համակարգեր օգտագործողին հնարավորություն են տալիս նաև կայքն ինքնուրույն ավելացնել ինդեքսավորման հերթում։ Սովորաբար դա էականորեն արագացնում է կայքի ինդեքսավորումը, իսկ այն դեպքերում, երբ արտաքին ոչ մի հղում չի տանում դեպի կայք, գործնականում միակ հնարավորությունն է նշել նրա գոյությունը։
Կայքի արագ ինդեքսավորման ևս մեկ միջոց է հանդիսանում որոնման ծառայություններին պատկանող վեբ-վերլուծիչ համակարգերի ավելացումը կայքում։ Օրինակ ինչպիսիք են՝ Google Analytics, metrika.yandex.ru և top.mail.ru-ն՝ համապատասխանաբար Google-ից, Yandex-ից և Mail.Ru-ից։ Կայքի ինդեքսավորումը կարելի է սահմանափակել robots.txt նիշքի օգնությամբ։ Ինդեքսավորումից ամբողջական պաշտպանություն կարելի է ապահովել այլ միջոցներով, օրինակ՝ կայքի վրա գաղտնաբառի տեղադրմամբ կամ մինչ բովանդակությունն ստանալը գրանցման ձևի լրացման պահանջով։
Գրականություն խմբագրել
- Cho, Junghoo, "Web Crawling Project" Արխիվացված 2013-07-07 Wayback Machine, UCLA Computer Science Department.
- A History of Search Engines, from Wiley
- WIVET is a benchmarking project by OWASP, which aims to measure if a web crawler can identify all the hyperlinks in a target website.
- Shestakov, Denis, "Current Challenges in Web Crawling" and "Intelligent Web Crawling", slides for tutorials given at ICWE'13 and WI-IAT'13.