商业网站中存在大量无效URL不利于搜索引擎收录。很多商业网站中都有产品条件过滤系统, 大量过滤条件页面内容重复或极为类似, 使得网站整体质量下降, 同时大量过滤条件页面没有对应产品, 页面无内容造成搜索引擎蜘蛛的误解, 另外爬行大量过滤条件页面极大浪费蜘蛛爬行时间, 造成有用页面收录机会下降。
这些无效URL不会被收录反倒有负面作用, 对此越来越多的人考虑iframe + robots禁止。如果只将过滤部分代码放进iframe, 很多人认为这部分内容不属于当前页面, 也即隐藏了内容。但其依然是客观存在的, 搜索引擎是可以发现iframe中的内容和链接的, 依然有爬行这些URL的可能性, 所以还要加robots禁止爬行。
