Correct Technology

Robots.txt faylı nədir ?

Robots.txt faylı, saytınızın kök qovluğunda yerləşən, axtarış sistemlərinin botlarının daxil olmasını istəmədiyiniz yerləri göstərən bir text faylıdır. Fayl kiçik əmrlərdən ibarət olan Preventing Robots Standard (Robotları idarə etmə standartı) -dan istifadə edir.

Robots.txt faylı saytınızın əsas qovluğunda (Nümunə: https://example.com/robots.txt) yerləşən axtarış sistemlərinin əmrlər faylıdır. Buna görə Google Bots saytınıza daxil olduqda, Əgər bir robots.txt faylı mövcutdursa saytınızda ilk ora daxil olacaqdır, əks halda işiniz çətin olacaqdır, Çünki saytınızda idarə paneli mövcutdursa və ya google botların indeksləməsini istəmədiyiniz gizli olan faylları google botları indeksləyəcəkdir.


Robots.txt faylının əmrləri.

User-agent: Veb saytınıza daxil olan axtarış sistemi botunun adı yazılmalıdır, Əgər bütün botlar üçün eyni əmrlər tətbiq ediləcəkdirsə (*) simvolundan istifadə etmək kifayətdir (User-agent: *)

(Nümunə bot adları: DeepCrawl ,Googlebot, Bingbot,DuckDuckBot,YandexBot)

Disallow: Axtarış sistemlərinin botlarının görməsini istəmədiyiniz faylların, linklərin və qovluqların adı daxil edilməlidir. Botların saytınızdakı heç bir linki indeksləməsini istəmirsinizsə (/) simvolundan istifadə etmək kifayətdir (Disallow: /).

Allow: Saytınızda indekslənməsini istədiyiniz linklər üçün istifadə edilən əmrdir. Əgər bir robots.txt faylında eyni zamanda "Allow""Disallow" əmrindən istifadə edəcəksəniz "Allow" əmri əvvəl yazılmalıdır. Bəzi nümunələr nəzər salaq. Saytınızda "http://example.com/products" linkinin botlar tərəfindən indeksləməsini istərmirsiniz ancaq "http://example.com/products/product-5" linkinin idekslənməsini istəyirsiniz o zaman robots.txt faylındakı əmr aşağıdakı şəkildə olacaqdır.

User-agent: *

Allow: /products/product-5

Disallow: /products/

Crawl-delay: Bu əmr axtarış sistemi botları üçün gecikdirmə əmridir. (Crawl-delay: 10) yazdığlmızda botlar 10 saniyə fasilələrlə saytımızdan məlumat oxuyacaqdır.

Visit-time: Botların veb saytınıza hansı saat aralığında daxil olmasını istəyirsinizsə bu əmr vasitəsi ilə qeyd edə bilərsiniz. (Visit-time:0600-0845) əmri axtarış sistemi botunun saat 06:00 ilə 08:45 arasında saytınıza daxil olması mənasına gəlir.

Request-rate: Tələb mənasına gələn bu əmr veb saytınıza daxil olan botun nə qədər müddətdə nə qədər səhifəni ziyarət etməsi gərəkdiyini bildirir. (/) simvolundan əvvəl yazılan dəyər səhifə sayını, sonra daxil edilə ədəd isə saniyə ilə müddəti bildirir. 

Request-rate: 5/10 yazsaq bu deməkdirki axtarış sistemi botu hər 10 saniyədə maksimum 5 səhifəni ziyarət edəcəkdir.

Sitemap: Veb saytınızda bir sitemap faylı və ya linki vardırsa robots.txt faylına qeyd etməyiniz faydalı olacaqdır (Sitemap: http://example.com/sitemap.xml).

(#) simvolu robots.txt faylında şərhlər yazmaq üçün istifadə olunur. şərhlər botlar tərəfindən oxumur.

Ən Sonuncu Bloqlar

Mobil SEO nedir ve onun ustunlukleri nelerdir?

Mobil SEO nədir və onun üstünlükləri nələrdir?

Mobile SEO Tətbiqin qısa və geniş təsviri mətni nədir ? Mobile SEO tətbiqin optimizasyası

Conversational Marketinq nedir? Ustunlukleri nelerdir

Conversational Marketinq nədir? Üstünlükləri nələrdir

Conversational Marketinq hansı üstünlükləri təqdim edir?Conversational Marketinqdə chat botlarin rolu nədir?

SEO ucun Adaptiv yoxsa Responsiv dizayn?

SEO üçün Adaptiv yoxsa Responsiv dizayn?

Adaptiv dizayn nədir ? Responsiv dizayn nədir ? Google niyə responsiv dizaynı dəstəkləyir. Bəs ümumi götürdükdə hansı dizayn sizin üçün daha yaxşıdır ?

Reqemsal yoxsa Enenevi Marketinq?

Rəqəmsal yoxsa Ənənəvi Marketinq?

Rəqəmsal marketinq nədir ? Ənənəvi marketinqin üstünlükləri ,Ənənəvi Marketinqin Dezavantajları, Rəqəmsal marketinqin üstünlükləri

Viral Marketinq nedir? Viral Marketinq Texnikasi

Viral Marketinq nədir? Viral Marketinq Texnikası

Viral Marketinq nədir? Auditoriyanın diqqətini çəkmək və Hədəf kütləsinin və kommunikasiya kanallarının düzgün seçilməsi

Veb sayt ucun UX dizayn ve dizayn meslehetleri

Veb sayt üçün UX dizayn və dizayn məsləhətləri

İstifadəçilərə çox rahat və sadə interfeys təqdim etməliyik. Bu yazımızda UX dizaynla əlaqəli bəzi məsləhətlərimizi paylaşmaq istərdik.

Meta taglari nedir, Metalar duzgun nece istifade edilmelidir

Meta tagları nədir, Metalar düzgün necə istifadə edilməlidir

Meta etiketləri nədir ? Meta description tagında düzgün istifadə edilmə qaydası və digər meta tagları