全球主机交流论坛

标题: dzx2.5怎么解决重复抓取页面问题？ [打印本页]

作者: 炮炮兵 时间: 2013-1-18 10:19
标题: dzx2.5怎么解决重复抓取页面问题？
我最近做了个论坛，发现论坛的地址被蜘蛛重复抓取，这样对论坛的优化是致命的，为解决这个问题，我查了好多资料，最后跪求了一个半分钟就能解决问题的方法，现在分享给大家。。。

通过修改robots.txt把这样的页面屏蔽掉，我们在根目录里找到robots.txt文件，在最后加上Disallow: /?* 这个句即可解决问题。。
其他关于这方面的知识，参考http://www.fwqlt.com

作者: bg7758 时间: 2013-1-18 11:59

我昨天都想到这个思路了居然没想到这一点

欢迎光临全球主机交流论坛 (https://sunk.eu.org/)