ربات موتور جستجو وظیفه خزیدن صفحات وب را بر عهده دارد. این برنامه به طور خودکار داده ها را از همه سایت ها می خواند و آنها را به شکلی که برای خود موتور جستجو قابل درک باشد ، ثبت می کند تا بعداً سیستم مناسب ترین نتایج را برای کاربر نمایش دهد.
کارکرد
تمام اطلاعات نمایه شده در یک پایگاه داده مشترک ثبت می شود.
ربات جستجو برنامه ای است که به طور خودکار از طریق صفحات اینترنت حرکت می کند ، اسناد لازم را درخواست می کند و ساختار سایت های خزیده را دریافت می کند. ربات به طور مستقل صفحات مورد اسکن را انتخاب می کند. در بیشتر موارد ، سایت های اسکن به طور تصادفی انتخاب می شوند.
انواع ربات
یک ربات با عملکرد نامناسب بار شبکه و سرور را به میزان قابل توجهی افزایش می دهد ، که می تواند باعث عدم دسترسی به منبع شود.
هر موتور جستجو چندین برنامه به نام ربات دارد. هر یک از آنها می توانند عملکرد خاصی را انجام دهند. به عنوان مثال ، در Yandex ، برخی از ربات ها مسئول اسکن کردن خبرهای RSS هستند که برای نمایه سازی وبلاگ ها مفید خواهد بود. همچنین برنامه هایی وجود دارد که فقط تصاویر را جستجو می کنند. با این حال ، مهمترین چیز ربات نمایه سازی است ، که پایه و اساس هر جستجو را تشکیل می دهد. یک ربات سریع کمکی نیز وجود دارد که برای جستجوی به روزرسانی ها در خبرخوان ها و رویدادها طراحی شده است.
روش اسکن
راه دیگر برای جلوگیری از خزیدن محتوا ایجاد دسترسی به سایت از طریق پنل ثبت نام است.
هنگام بازدید از سایت ، برنامه سیستم پرونده را برای حضور فایلهای دستورالعمل robots.txt اسکن می کند. اگر سندی وجود دارد ، خواندن بخشنامه های نوشته شده در سند آغاز می شود. Robots.txt می تواند اسکن برخی از صفحات و پرونده ها را در سایت منع یا برعکس کند.
فرآیند اسکن به نوع برنامه بستگی دارد. بعضی اوقات ربات ها فقط عنوان صفحه و چند پاراگراف را می خوانند. در بعضی موارد ، اسکن در کل سند بسته به نشانه گذاری HTML انجام می شود ، که همچنین می تواند به عنوان وسیله ای برای تعیین عبارات کلیدی باشد. برخی از برنامه ها در برچسب های مخفی یا متا تخصص دارند.
در حال افزودن به لیست
هر مدیر وب سایت می تواند از خزیدن موتور جستجو از طریق robots.txt یا برچسب META جلوگیری کند. همچنین ، سازنده سایت می تواند به صورت دستی سایت را به صف نمایه سازی اضافه کند ، اما افزودن آن به این معنی نیست که ربات بلافاصله صفحه مورد نظر را خزنده می کند. برای افزودن سایتی به صف ، موتورهای جستجو نیز رابط های ویژه ای ارائه می دهند. افزودن یک سایت به طور قابل توجهی روند نمایه سازی را تسریع می کند. همچنین ، برای ثبت سریع در موتور جستجو ، می توان از سیستم های تجزیه و تحلیل وب ، دایرکتوری سایت و … استفاده کرد.
