صفحات هر سایت به طور منظم توسط ربات های جستجوگر خزیده می شود ، آنها اطلاعات موجود در سایت را پردازش می کنند تا به درخواست کاربران در موتورهای جستجو در دسترس باشد. بازدید بازدیدکنندگان از موتورهای جستجو تأثیر مثبتی در بازدید سایت دارد و توسعه منابع را تحریک می کند. اما ، اگر صفحاتی در سایت وجود داشته باشد ، اطلاعاتی که برای مخاطبان اینترنت در نظر گرفته نشده است (به عنوان مثال صفحات شخصی کاربران یا صفحه ثبت نام) ، بنابراین انتقال از موتورهای جستجو به چنین صفحاتی مورد نیاز نیست و آن بهتر است این اطلاعات را از نمایه سازی منع کنید.
ضروری است
- - وب سایت خود را داشته باشید
- - برای دانستن پیوندهایی به صفحه هایی که نمایه سازی آنها باید ممنوع باشد.
- - حداقل دانش اولیه در مورد HTML داشته باشید
دستورالعمل ها
مرحله 1
برای اینکه ربات جستجو از نمایه سازی صفحات خاصی از سایت جلوگیری کند ، باید در پرونده robots.txt تغییراتی ایجاد کنید ، اگر قبلاً در سایت شما است یا این فایل را ایجاد کنید.
گام 2
اگر پرونده robots.txt قبلاً در سایت بارگذاری شده است و امکان ویرایش مستقیم این فایل از صفحه کنترل منابع وجود دارد ، سپس robots.txt را از طریق وب سرویس برای ویرایش باز کنید.
مرحله 3
اگر راهی برای ایجاد تغییر مستقیم در فایل مورد نظر از طریق کنترل پنل وجود ندارد ، robots.txt را با کلیک روی پیوند به این پرونده در مرورگر باز کنید. تمام داده های صفحه باز شده را کپی کرده و روی صفحه در Notepad بچسبانید.
مرحله 4
اگر هیچ robots.txt در سایت وجود ندارد ، برنامه "Notepad" را باز کنید ، در سند جدیدی که لازم است کد لازم را وارد کنید.
مرحله 5
در یک برگ خالی از سند متن ، اولین خط مورد نیاز را بنویسید:
عامل کاربر: *
مرحله 6
سپس با فشار دادن کلید Enter به خط بعدی بروید و کد زیر را تایپ کنید:
Disallow: / index / page3Dallallow: نشان می دهد که هیچ نمایه ای وجود ندارد و / index / page3 پیوندی به صفحه ای است که نیازی به فهرست شدن ندارد. به جای پیوند / index / page3 ، پیوندی به صفحه سایت خود وارد کنید که می خواهید برای پردازش توسط ربات ها مسدود شود.
مرحله 7
توجه داشته باشید که نام دامنه خود در ابتدای پیوند موجود نیست ؛ وجود آن در ورودی به معنی اسلش رو به جلو است. هنگام جستجوی سایت ، یک ربات جستجو به طور خودکار یک نام دامنه را در چنین پیوندهایی وارد می کند. بنابراین ، از این طریق به صفحه های لازم پیوند بنویسید.
مرحله 8
After Disallow: می توانید نه تنها پیوندی به یک صفحه خاص بلکه پیوندی به هر بخش یا فهرست سایت را نیز قرار دهید. به همین ترتیب ، می توانید نمایه سازی قسمت مورد نظر سایت را ممنوع کنید.
مرحله 9
اگر لازم است پردازش توسط چندین ربات مختلف از منابع توسط پردازشگرها ممنوع شود ، برای هر بخش یا صفحه در یک خط جدید پیوند بنویسید ، در ابتدای آن ورود به غیرمجاز را فراموش نکنید.
مرحله 10
برای تکمیل تغییر robots.txt ، بر روی دکمه "ذخیره" هنگام ویرایش پرونده در صفحه کنترل ، کلیک کنید یا یک سند متنی را با مدخل های تحت نام robots.txt ذخیره کنید و این فایل را در سایت بارگذاری کنید.
