izmir escort
izmir escort
izmir escort
izmir escort
izmir escort

Robots.txt Oluşturma

TayfunYel tarafından 4 sene önce, 2.383 kez görüntülendi ve hiç yorum yapılmadı.

Ders : 5  Robots.txt Oluşturma

Robots.txt Oluşturma

Robots.txt arama motoru botlarının sürekli gezindiği ve indexlemeleri bu dosyaya göre yaptığını bilmemiz gerekmektedir. Gerekli sayfaları robots.txt dosyası ile engellemek ve ya kaldırmak münkündür. Robots.txt bir nevi arama motoru botlarının gerekli bölgeleri indexlemesini bildirdiğimiz kısıtlama dosyasıda diyebiliriz. Arama motoru botları indexleme yaparken ilk olarak robots.txt dosyasının olup olmadığını kontrol eder daha sonra ordaki izinlere göre indexlemeleri gerçekleştirir.

Robots.txt ile yapılan engellemeler Google webmaster tools taramam bölümünde engellenen urller olarak karşımıza çıkmaktadır. Arama motoru botlarının sitenin bütün kısımlarını indekslemesini istiyorsanız robots.txt oluşturmaya gerek yoktur. Yalnız arama motoru botlarının dizine eklenmesini istemediğiniz dosyaları indekslemeye karşı oluşturulan bir dosyadır.

Eğer sitenizin Google dizinine ve diğer arama motorları dizinine eklenmesini istemiyorsanız sitenizin <head> kısmının alt tarafına  <meta name=”robots” content=”noindex”> meta etiketini ekleyerek Google ve diğer aramam motorları dizinine eklenmesine engelleme getirebilirsiniz. Eğer sitenizin sadece Google dizininde engellemek istiyorsanız, <meta name=”googlebot” content=”noindex”> meta etiketi ile Google dizinine engellemeyi sağlayabilirsiniz.

Robots txt nasıl oluşturulur ?

Robots.txt dosyası için 2 kural vardır.

User-agent: Aşağıdaki kuralın uygulandığı robot ( Genelde  bütün arama motorları için *  sadece Google için Googlebot  kullanılır )

Disallow: Engellemek istediğiniz URL Bu iki satır tek bir giriş olarak sayılmaktadır bu girişleri çoğaltada bilirsiniz her arama motoru botu için özel izin belirleyebilirsiniz.

Örneğin :

User-agent: *

Disallow: /dosya/

Bu kısımda dosya bütün arama motoru botlarında engellenmektedir.

User-Agent: Googlebot

Disallow: /dosya/

Bu kısımda ise dosya sadece Google aramam motoru botunda engellenmektedir.

User-agent’lar ve Botlar

User agent belirli arama motoru botunu belirlemektedir. User-agent: * tüm arama motoru botunu belirlemektedir. Arama motoru botları çeşitli indekslemeler için farklı botlar kullanmaktadır . Google web aramaları için Googlebot mobil aramalar için Googlebot-Mobil görsel aramalar için Googlebot-Image gibi çeşitli botlar kullanılmaktadır.

User agent’ları Engelleme

Disallow satırında / (slash) işaret ile  başlar .

Sitenin tamamını engellemek için disallow slash işareti kullanın.

Disallow: /

Bir dizini alt içeriği ile beraber komple engellemek için dizin adı sonunda slash işareti kulanın.

Disallow: /dosya/

Herhangi bir indeksi engellemek için;

Disallow: /dosya.html

Google görsel öğeyi engellmek için;

User-agent: Googlebot-Image

Disallow: /resimler/resimadi.jpg

Sitedeki tüm göreselleri engellemek için;

User-agent: Googlebot-Image

Disallow: /

Belirli dosya türü engellemesi Örneğin : .html

User-agent: Googlebot

Disallow: /*.html$

Sitenizde eğer adsense reklamları bulunduruyorsanız izin vermek için aşağıdaki kodu kullanın.

User-agent: Mediapartners-Google

Allow: /

Robots.txt Sitemap bildirimi için aşağıdaki kodu kulanabilirsiniz.

Örneğin : Sitemap: http://www.siteadi.com/sitemap.xml

Dize kalıpları

Robots.txt yapılandırırken 3 tane dize kalıbı vardır. Dize kalıpları sadece Googlebot robots.txt ayalarında kullanılır.

(*) Yıldız Dize kalıbı Herhangi bir dosyanın altındaki bütün dosyaları engellemek için kulanılır.

Örneğin:

User-agent: Googlebot

Disallow: /dosya*/

(?) Soru işareti Dize kalıbı Soru işareti içeren bütün Url lerin erişimini engellemek için kullanılır.

Örneğin:

User-agent: Googlebot

Disallow: /*?

($) Dolar Simgesi Dize kalıbı $ işereti Url sonu eşleşmesinde kullanılır . Diyelim ki: .pdf uzantısıyla bitiren uzantıları engellemek istiyorsunuz aşağıdaki kodu kullanın.

User-agent: Googlebot

Disallow: /*.pdf$

Robots.txt Nereye Yerleştirmeliyim ?

Robots.txt dosyası kesinlikle kök dizine yerleştirilmelidir. Herhangi bir alt dosya ve klasöre yerleştirilmemektedir. Yani ftp ye giriş yaptıktan sonra ana dizine atınız . Örneğin : www.siteadi.com/robots.txt olarak uzantıya ulaşmanız lazım .

Robots.txt Dosyası Nasıl Test Edilir ?

Robots.txt dosyamızı oluşturup kök dizine attıktan sonra . Gmail hesabınızdan Google webmaster tools’a girerek test edeceğiniz siteyi seçiyorsunuz. Tarama bölümü altında Engellenen Urller tıklayınız. Seçili değilse robots.txt testi sekmesini tıklayınız. Robots.txt dosyanızın içeriğini kopyalayın ve kutuya yapıştırın. Url ler kutusunda test edilecek siteyi listelemesini yapın. User-agentlar listesinde istediğiniz User-agentların seçimini yapın böylelikle oluşturulan robots.txt ayarlarınız test etmiş olursunuz. Seo Dersleri 5.Dersimizde Google seo için en önemli derslerden birini sizlere verdik sorularınızı yorum kısımından bizlere bildirebilirsiniz.

Benzer Yazılar
20 Mayıs 2014
17 Mayıs 2014
Yorumlar ( 0 )

Seo dersleri sitemizde seo eğitimi alıp güncel seo teknikleri hakkında bilgi edinebilirsiniz. Tüm hakları gizlidir.
avcılar esocrt esenyurt esocrt