标签：robots

昨天刚好檀博主管理的一个word press交流群里边有群有问到word press怎么写robots.txt文件，本着乐于助人的方面，推荐这位朋友直接抄我的，因为本人纵横SEO届这么多年还是小有心得的！（别扔烂菜叶臭鸡蛋啊，我只想淡淡的装个逼！），但是这个朋友将我的直接复制过去却说不对！！！！“纳尼？”我当时就懵逼了这是是么情况？然后开始了探索之旅也就有了这篇文章。

赞(0)Deroc2017-06-23建站运维 阅读()评论(12)

许多新手站长朋友刚坐做站遇见最尴尬的事就是蜘蛛抓取了不该抓取的页面，记得刚做站的时候有一次忘写robots文件了导致网站登录页面被收录了。。尴尬。。这个页面被收录导致的后果就是我的邮箱一直收到非法登陆网站后台的邮件。当时找了好久没找到原因，最后site了一下发现登陆页面被收录了，当场直接给做了限制访问。

赞(0)Deroc2016-10-08建站运维 阅读()去评论