robots.txt dosyası analiz etmek - SanalAlemci

Etiket ‘robots.txt dosyası analiz etmek’

robots.txt Dosyası hakkında detaylı bilgiler…

Perşembe, Temmuz 30, 2009 0:52 İlk Yorumu Sen Yazmak İster misin?
Derecelendir

robots.txt dosyası ! Ne işe yarar ?? Detaylı Bilgiler..

Detaylı anlatımlarla robots.txt dosyası;

Arama motorlarının robotları web sitelerini incelerken ilk olarak bu dosyayı ararlar.
Çünkü bu dosya , robotların hangi sayfaları indexlenip hangilerinin indexlenmeyeceği hakkında yön verir.
Özellikle sitenizdeki bir dosya yada klasörün indexlenmesini istemiyorsanız bu dosya ile belirtebilirsiniz

Robots.txt dosyasını ftp de nereye koymalıyım ?

(daha fazla…)

Toplam Okunma: 748 (Önbellek Kullanılıyor) | Son Görüntülenme: 12.11.2018

Bu Kategori Altında Yayınlanmıştır: İnternet Dünyası