Sign in to follow this  
Chef

robots.txt nedir ? robots.txt kullanımı

Recommended Posts

robots.txt dosyası webi tarayan arama motoru robotlarının sitenize erişimini kısıtlar. Bu botlar otomatiktir ve bir sitenin sayfalarına erişmeden önce, belirli sayfalara erişmelerini önleyen bir robots.txt dosyası olup olmadığını kontrol ederler.

Sitenizde arama motorlarının dizine eklemesini istemediğiniz içerikler varsa, robots.txt dosyası kullanılmalıdır. Arama motorlarının sitenizdeki her şeyi dizine eklemesini istiyorsanız, robots.txt dosyasına ihtiyacınız yoktur.
Özetle; sayfanızın googlebot tarafından taranmasını robots.txt dosyası yardımıyla sınırlandırabilirsiniz.


robots.txt olarak adlandırılması gereken bu dosya sitenizin kök dizininde olmalıdır.
 

robot-txt-sema.gif
 


ROBOT.TXT DOSYASI OLUŞTURMA

En basit robots.txt dosyası iki kural kullanır:

User-agent: Aşağıdaki kuralın geçerli olduğu robot
Disallow: Engellemek istediğiniz URL


Bu iki satır, dosyada tek bir giriş sayılır.
İstediğiniz kadar giriş ekleyebilirsiniz.
robots.txt dosyasındaki her bölüm ayrıdır.
Tek girişe birden çok Disallow satırı ve birden çok user-agent ekleyebilirsiniz.


Örnek:

HTML:
User-agent: *
Disallow: /klasor1/

User-Agent: googlebot
Disallow: /klasor2/

ROBOTS META ETİKETİNİ KULLANIN
 

HTML:
<meta name="robots" content="noindex" />

Yukarıdaki örnekte robots meta etiketi, arama sonuçlarında sayfayı göstermemeleri için tüm arama motorlarına bildirir.

robots direktifi tüm tarayıcılar için geçerli olduğunu belirtir.

Sayfa taramasını sadece googlebot için, önleyecekseniz aşağıdaki etiketi kullanın:
 

HTML:
<meta name="googlebot" content="noindex" />

Eğer sitenizde alt alan adı kullanıyorsanız ve bu dizinlerde belirli sayfaların taranmasını istemiyorsanız o alt alan adı için de ayrı robots.txt dosyası oluşturmanız gerekir.

Ayrıca hassas veya gizli bilginin robots.txt ile bloke edilmesi sizi tamamen rahatlatmasın. Eğer bu bağlantılar internette başka bir yerde referans olarak verilmişse (örneğin referans veren bloglarda), bloke ettiğiniz URLler arama sonuçlarında referans olarak görüntülenebilir.

  • Like 1

Share this post


Link to post
Share on other sites

Forum Bilgisi

 

You do not have the required permissions to read this content. 

Log in or Create Account to view content

  • Thanks 1

Share this post


Link to post
Share on other sites
Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Similar Content

    • By Chef
      Merhabalar,

      Değerli Iyinet kullanıcıları;

      Sürekli internet üzerinde okuduğunuz bot/net kavramı ve bot/net terimi geçtiğinde hep kötü şeyler aklınıza geliyor.

      Çünkü cümlede geçen hali "bot/net" saldırısıdır. Hackerların yazmış olduğu trojan veya bot/net saldırısını düzenleyecek programlar hackerlar veya lamerlar tarafından kurbanların bilgisayarlarına dağıtılır.

      Botlar yani otomatik komutların uygulanacağı programlar bilgisayarlar'da gittikçe çoğaltılır. Burada hedef çok kişiye bu programı yaymaktır. Ne kadar fazla bilgisayara yayılırsa hedeflenen saldırı O kadar büyüyecektir.

      Daha sonra saldıran kişi bir IP adresi veya web sitesine saldırı için komutu verir. 

      Basit bir örnek vermek gerekirse düşünün'ki Iyinet sitesine aynı anda 10.000.000 sayfanın çağrıldığını ve sunucunun durumunu ve buna cevap veremeyişini göz önünde bulundurarak mantıklı çözümler kurunuz.

      Burada'ki saldırı amacı değişkenlik gösterebiliyor, rakip firmaların saldırısı, ego tatmini ve benzeri bir çok düşünce kapasitesine musait.

      Bir sürü sebep aranabilir bu yapılanların ardında. Eskiden bot/net saldırıları ile sunucunun diskine kadar zarar vermek mümkündü. Şimdi bu saldırılar teknoloji geliştikçe daha az zararla kurtarılabilmektedir.

      Hatta piyasada hosting veya sunucu hizmeti veren firmalarda gelişen bir kavramda bot/net korumalı hosting satışı oldu. 

      Bu saldırıları belirli bir ölçüde koruyabileceğini söyleyen firmalar, bunu bir pazarlama stratejisi olarakta kullanıyorlar.

      Bu saldırılar ile hiç bir zaman karşılaşmamanızı temenni ediyorum.
  • Recently Browsing   0 members