Robots.txt dosyası, arama motoru botlarının, sitemizde erişmesini istemediğimiz bölümleri gösteren, sitemizin kök dizininde bulunan bir dosyadır. Dosya, ufak bir komut setine sahip bir protokolü yani Robotları Engelleme Standardını kullanır.
Bu dosya sitemizin ana dizininde bulunmaktadır ve ismi her sitede ismi aynıdır. Arama motoru botları için kılavuz niteliğindedir. Siteye gelen botlar ilk olarak bu dosyaya bakarlar ve bu dosyadan sitenin hangi bölümüne girmemeleri gerektiğini, hangi bölümlerini indexlemeleri gerektiğini öğrendikten sonra işleme başlarlar Kısacası arama motorları için robots .txt dosyası olmazsa olmazlardandır.
Robots .txt dosyasını hazırlamak zor bir iştir. Özellikle girilmesi gereken dizinleri tek tek işlemek, girilmemesi gereken dizinleri tek tek işlemek hem büyük bir zaman kaybı oluşturur. Hem de bu süreçte olan, saatlerce bilgisayar ekranına bakmak zorunda kalan gözlerimize olur. Robots .txt oluştucu, kişiyi bu zahmetten kurtaracak kullanımı basit bir web aracıdır. Aracı kullanmak için tek yapmanız gereken, istediğiniz dizinleri girmek, bu dizinlerin arama motorlarının erişimine, açık olup olmadığını işaretlemek ve bu işlemin hangi arama motorları için geçerli olduğunu belirleyip, üret butonuna basmaktır. Daha sonra birkaç saniye içerisinde robots.txt dosyası kodlarımız elimizde hazır olacaktır.
Yoksa sitemizi arama motorlarıyla optimize edeceğiz derken, bir bakmışız kimi güvenlik açıkları yaratmış, hatta belki de arama motorları tarafından ciddi cezalar almışız. Tüm bu sıkıntıları yaşamamak için, işinin ehli web master ve SEO uzmanlarıyla çalışmak doğru bir yöntem olacaktır. Örneğin sitemizi arama motorlarıyla optimize ederken, düzenleme yaptığımız sayfaların, arama motoru botları tarafından görülmesini ve indexlenmesini isteriz. Ancak bu tüm sayfalarımız için geçerli değildir. Bazı sayfalarımızın arama motorları tarafından indexlenmesini istemeyebiliriz ve ya bu sayfaların indexlenmesi güvenliğimizi ihlal edebilecek durumlar açığa çıkarabiliriz. Böylesi durumlar için, sayfalarımı nasıl saklarım, sorusu ilk elden akla gelmektedir. Bu sorunun cevabında, robots .txt üreticisi bize yardımcı olacaktır.
Bu araç sayesinde robots.txt dizini oluşturmak için saatlerce bilgisayar başında durmanız gerekmeyecektir. SEO işlemi yaparken, özellikle düzenleme yaptığımız sayfaların arama motoru botları tarafından görülmesini isteriz. Bunun içinde arama motoru botlarını çeşitli yöntemlerle sitemize çekerek, optimize yaptığımız sayfaların indexlenmesini bekleriz. Ancak bu işlemin her sayfa için yapılmasını istediğimiz söylenemez. Bazen bazı sayfaların arama motorlarınca erişilmesini istemezken, bazı sayfaların erişilip indexlenmesi site güvenliğimizi tehdit edebilmektedir. Tüm bu durumlara mahal vermemek için robots.txt oluşturucu (robots.txt generator)sayesinde ürettiğimiz kodları, sitemizin ana dizininde bulunan robots.txt dosyasına eklememiz yeterli olacaktır.
