是否应该建立robot.txt?这个问题问昆明网络公司就问对人了,robot.txt对于搜寻引擎而言是自身网站的一项阅读规则,什么该被读取?什么不该被读取?在早期IT人员深信没有robot.txt的网站将会导致关键字搜寻排名的负面影响。
而目前被证实没有建立robot.txt的网站并不会因此在关键字搜寻的排名中获得劣势,此为一项迷思。不过,robot.txt在网页结构的设计上确实有它的功用所在,当自身网站有某些用于测试或是未公开的网页,利用robot.txt来遮蔽确实可免去被搜寻引擎算法读取,进而被认为是未进行SEO优化。