تقریباً هر مدیر وب سایت سعی می کند صفحات سایت خود را به گونه ای بهینه کند که بتواند عناصر نمایه شده را تا حد ممکن به دست آورد. اما در برخی موارد ، برعکس ، شما باید برخی از صفحات را مخفی کنید ، به عنوان مثال فرم ورود اطلاعات ثبت نام ، بازیابی رمزهای عبور و غیره.
لازم است
ویرایش فایل Robots.txt
دستورالعمل ها
مرحله 1
ساده ترین راه برای بستن نمایه سازی چندین بخش یا یک سایت خاص ، ایجاد ورودی های مناسب در پرونده robots.txt است. او به عنوان راهنما برای موتورهای جستجو استفاده می شود. هنگام ورود به صفحات سایت ، ربات جستجو به این پرونده مراجعه می کند ، اگر در آنجا نباشد ، کل سایت را نمایه می کند ، در غیر این صورت از توصیه های مشخص شده در این فایل پیروی می کند.
گام 2
اگر سایت خود را ایجاد کرده اید و چنین برنامه ای ندارید ، به صورت یک سند متنی که ممنوعیت ها را نشان می دهد ، ایجاد آن توسط خود شخص آسان است. برای مثال ، با استفاده از برنامه Notepad ، یک سند نوشتاری جدید باز کنید. خطوط زیر را در متن سند قرار دهید: User-agent: * مجاز نیست: /file.htmlDallallow: / Directory /
مرحله 3
حال بیایید بفهمیم چه چیزی را از موتور جستجو به عنوان وظیفه خواسته اید. علامت "*" در مقابل User-agent به این معنی است که این دستورالعمل باید توسط تمام سیستم های پرونده اجرا شود. به عنوان مثال ، اگر به جای "*" "Yandex" بنویسید ، این درخواست تجدیدنظر فقط توسط ربات موتور جستجوی Yandex خوانده می شود. اظهارات غیرمجاز نمایه سازی یک بخش (فهرست) یا پرونده خاص (پرونده.html) را ممنوع می کند.
مرحله 4
پس از کامپایل فایل robots.txt ، می توانید مستقیماً به متنهای موجود در صفحات سایت بروید. همانطور که می دانید موتورهای جستجو دوست ندارند بیش از 3 پیوند فعال خارجی در صفحات شما داشته باشند. اگر به خون دماغ نیاز دارید اما 5 لینک یا بیشتر ارسال می کنید ، چه می کنید. در این موارد می توانید از یک ویژگی یا برچسب استفاده کنید.
مرحله 5
برای بستن پیوندها از نمایه سازی توسط موتور جستجوی Google ، باید پیوند را به فرم زیر وارد کنید: پیوندهای لنگر. متن مشخصه باید در هر قسمت از پیوند وارد شود ، فراموش نکنید که آن را با فاصله جدا کنید ، یعنی ویژگی را می توان بین "a" و "href" یا بین پیوند و لنگر آن قرار داد.
مرحله 6
برای بستن پیوندها از فهرست بندی توسط موتور جستجوی Yandex ، باید پیوند را به فرم زیر وارد کنید: پیوند لنگر. برچسب در ابتدا و انتهای لینک قرار می گیرد. فراموش نکنید که این برچسب جفت شده است: قسمت دوم ، برخلاف قسمت اول ، با علامت "/" همراه است.
