گاهی اوقات یک مدیر وب باید یکی از صفحات ایندکس شده را از موتور جستجو حذف کند. اغلب اوقات ، پس از وارد کردن اشتباه آدرس صفحه در لیست کلی نقشه سایت ، به این عملیات متوسل می شویم. در یک زمان ، متخصصان شرکت Megafon با این خطا روبرو شدند (پیام های sms برای هر کاربر از موتور جستجوی Yandex در دسترس قرار گرفت).
لازم است
سایت شخصی
دستورالعمل ها
مرحله 1
یکی از ساده ترین راه ها برای حذف صفحه وب خود از بایگانی موتورهای جستجو ، حذف فیزیکی آن ، تغییر آدرس مکان و حذف کاذب آن است (شما باید ویژگی صفحه حذف شده را تنظیم کنید). پس از تغییر شکل این صفحه ، ربات جستجو خط زیر را به جای مطالب مشاهده خواهد کرد: HTTP / 1.1 404 یافت نشد. با این حال ، فراموش نکنید که ربات های جستجوگر می توانند هر 3 ساعت یک بار و شاید هر 2-3 روز یک بار به سایت مراجعه کنند. بنابراین ، برای رسیدن به نتیجه باید مدتی صبر کنید.
گام 2
روش بعدی ویرایش فایل robots.txt است که به محض ورود سایت به سایت شما ، مسیر خزنده را تعیین می کند. این سند متنی همیشه یک مکان دارد - ریشه سایت. در پاراگراف اول ، پارامترهای نمایه سازی برای ربات Yandex معمولاً نشان داده می شود (تفاوت آن با سایر ربات ها تفاوت زیادی دارد) ، در پاراگراف دوم برای سایر موتورهای جستجو
مرحله 3
در ابتدای پاراگراف ، باید عنوان عامل "User-Agent: *" و آدرس صفحات پنهان را مشخص کنید - "اجازه ندهید: /wp-content/foto/fotojaba.html". به همین ترتیب ، باید آدرس صفحات یا بخشهایی را که می خواهید از نمایه سازی بسته شود ، مشخص کنید. لطفاً توجه داشته باشید که این روش نتایج سریعی ندارد. اگر سایت شما فعالیت کمی دارد و اخبار از شبکه های اجتماعی پخش نمی شود ، پردازش داده های جدید می تواند به مدت چند روز برسد. علاوه بر این ، باید نسخه های این صفحات را از بایگانی سرویس جستجو حذف کنید.
مرحله 4
یک روش جایگزین برای تنظیم پیوندها در پرونده robots.txt استفاده از برچسب روبات های متا به همین نام است. نحو این برچسب به شرح زیر است: باید بین برچسب های [head] و [/head] جفت شده قرار گیرد. مقدار روبات ها باید در برچسب نام متا قرار گیرد. یک مثال به این شکل است:.
