Correct Technology

Robots.txt faylı nədir ?

Robots.txt faylı, saytınızın kök qovluğunda yerləşən, axtarış sistemlərinin botlarının daxil olmasını istəmədiyiniz yerləri göstərən bir text faylıdır. Fayl kiçik əmrlərdən ibarət olan Preventing Robots Standard (Robotları idarə etmə standartı) -dan istifadə edir.

Robots.txt faylı saytınızın əsas qovluğunda (Nümunə: https://example.com/robots.txt) yerləşən axtarış sistemlərinin əmrlər faylıdır. Buna görə Google Bots saytınıza daxil olduqda, Əgər bir robots.txt faylı mövcutdursa saytınızda ilk ora daxil olacaqdır, əks halda işiniz çətin olacaqdır, Çünki saytınızda idarə paneli mövcutdursa və ya google botların indeksləməsini istəmədiyiniz gizli olan faylları google botları indeksləyəcəkdir.


Robots.txt faylının əmrləri.

User-agent: Veb saytınıza daxil olan axtarış sistemi botunun adı yazılmalıdır, Əgər bütün botlar üçün eyni əmrlər tətbiq ediləcəkdirsə (*) simvolundan istifadə etmək kifayətdir (User-agent: *)

(Nümunə bot adları: DeepCrawl ,Googlebot, Bingbot,DuckDuckBot,YandexBot)

Disallow: Axtarış sistemlərinin botlarının görməsini istəmədiyiniz faylların, linklərin və qovluqların adı daxil edilməlidir. Botların saytınızdakı heç bir linki indeksləməsini istəmirsinizsə (/) simvolundan istifadə etmək kifayətdir (Disallow: /).

Allow: Saytınızda indekslənməsini istədiyiniz linklər üçün istifadə edilən əmrdir. Əgər bir robots.txt faylında eyni zamanda "Allow""Disallow" əmrindən istifadə edəcəksəniz "Allow" əmri əvvəl yazılmalıdır. Bəzi nümunələr nəzər salaq. Saytınızda "http://example.com/products" linkinin botlar tərəfindən indeksləməsini istərmirsiniz ancaq "http://example.com/products/product-5" linkinin idekslənməsini istəyirsiniz o zaman robots.txt faylındakı əmr aşağıdakı şəkildə olacaqdır.

User-agent: *

Allow: /products/product-5

Disallow: /products/

Crawl-delay: Bu əmr axtarış sistemi botları üçün gecikdirmə əmridir. (Crawl-delay: 10) yazdığlmızda botlar 10 saniyə fasilələrlə saytımızdan məlumat oxuyacaqdır.

Visit-time: Botların veb saytınıza hansı saat aralığında daxil olmasını istəyirsinizsə bu əmr vasitəsi ilə qeyd edə bilərsiniz. (Visit-time:0600-0845) əmri axtarış sistemi botunun saat 06:00 ilə 08:45 arasında saytınıza daxil olması mənasına gəlir.

Request-rate: Tələb mənasına gələn bu əmr veb saytınıza daxil olan botun nə qədər müddətdə nə qədər səhifəni ziyarət etməsi gərəkdiyini bildirir. (/) simvolundan əvvəl yazılan dəyər səhifə sayını, sonra daxil edilə ədəd isə saniyə ilə müddəti bildirir. 

Request-rate: 5/10 yazsaq bu deməkdirki axtarış sistemi botu hər 10 saniyədə maksimum 5 səhifəni ziyarət edəcəkdir.

Sitemap: Veb saytınızda bir sitemap faylı və ya linki vardırsa robots.txt faylına qeyd etməyiniz faydalı olacaqdır (Sitemap: http://example.com/sitemap.xml).

(#) simvolu robots.txt faylında şərhlər yazmaq üçün istifadə olunur. şərhlər botlar tərəfindən oxumur.

Ən Sonuncu Bloqlar

Google Panda ve Penguen alqoritmleri 2021

Google Panda və Penguen alqoritmləri 2021

Google axtarış alqoritmi necə işləyir? Google Panda alqoritmi nədir ? Google Penguen alqoritmi nədir ?

Google Trends nedir ? Google Trends 2021

Google Trends nədir ? Google Trends 2021

Google Trends Nədir ? Elektron ticarət saytınız üçün Google Trends-dən necə faydalana bilərsiniz?

Google cezalari ve sebebleri

Google cəzaları və səbəbləri

Saytınızın google axtarış sıralamasında geriləməsinə nə səbəb ola bilər. Saytımızın cəza filtrnə düşdüyünü hardan bilə bilərik. Cəza filtrininə düşmə səbəbləri

LottieFiles nedir? LottiFiles ile animasyalar

LottieFiles nədir? LottiFiles ilə animasyalar

Veb saytlarınıza , Mobil tətbiqlərinizə rəng qatacaq animasyalar, LottieFiles nədir?

UX Uİ Dizayn nedir? Uİ ve UX dizayn arasindaki ferq

UX Uİ Dizayn nədir? Uİ və UX dizayn arasındakı fərq

Ui dizayn nədir? UX dizayn nədir. Uİ və UX dizayn arasındakı fərqlər

White Hat SEO ve Black Hat SEO arasindaki ince xett

White Hat SEO və Black Hat SEO arasındakı incə xətt

White hat SEO nədir ? Black hat SEO nədir? Düzgün SEO strategiyası

Twitter-de izleyici sayini artirma yollari

Twitter-də izləyici sayını artırma yolları

Twitter-də izləyici sayını artırma yolları, Twitterdə paylaşımlar necə hazırlanmalıdır.