وظیفه حذف صفحات منفرد یا کل سایت از موتورهای جستجو در هنگام تغییر اطلاعات ، تغییر دامنه ، ترکیب چندین منبع و تعدادی از دلایل دیگر ، توسط یک مدیر وب سایت روبرو می شود. بسته به نتیجه مورد نظر ، روشهای مختلفی برای حل مشکل وجود دارد.
دستورالعمل ها
مرحله 1
صفحه را حذف کنید تا ایندکس شود تا سرور هنگام تلاش برای رفتن به صفحه وب انتخاب شده HTTP / 1.1 404 Not Found ، پیغام خطایی را بازگرداند. برای اعمال تغییرات انتخاب شده ، باید منتظر دسترسی مجدد ربات به صفحه مورد نیاز باشید.
گام 2
از پرونده ریشه ربات robots.txt استفاده کنید تا بخش ها یا صفحات انتخاب شده را از فهرست بندی موتور جستجو خارج کنید. برای جلوگیری از نمایش پنل مدیریت در موتور جستجو ، از دستور: User-Agent: * Diaallow: / admin / یا برای حذف صفحه انتخاب شده از فهرست بندی ، مقدار را وارد کنید: User-Agent: * Disallow: / selected_page.html # برای اعمال تغییرات ، ربات باید دوباره از صفحه انتخاب شده بازدید کند.
مرحله 3
برای افزودن یک قانون مشخص شده در کد HTML به تمام صفحات مورد نیاز ، از روش متا برچسب گذاری استفاده کنید: این امر به منظور حذف صفحات ناخواسته از موتور جستجو ضروری است.
مرحله 4
یک روش برای ایجاد برچسب X-Robots برای معرفی دستوراتی در هدر http انتخاب کنید که در کد صفحه نمایش داده نشوند: X-Robots-Tag: noindex، nofollow این روش برای حذف صفحات یا بخشهای انتخاب شده از فهرست بندی موتورهای جستجوی خارجی
مرحله 5
از یک صفحه کنترل وب مستر ویژه در Yandex استفاده کنید: https://webmaster.yandex.ru/deluri.xml یا در Google: https://www.google.com/webmasters/tools. این کار برای جلوگیری از نمایش مورد نظر انجام می شود صفحه ، بخش یا کل سایت در موتور جستجو انتخاب شده است.
