网站实际页面很多,但实际生成后的地图页面确很少,主要影响因素:
1. 大量404页面,将严重影响网站页面的收录。建议按生成的404页面列表处理对应的页面。
这会导致大量死链接。
2. 网站使用AJAX异步或JavaScript生成页面中的连接
AJAX异步生成的页面连接将不会在生成网站地图中出现。
同时要注意Script或AJAX生成的页面连接也不会被搜索引擎收录。
这在部分Wordpress系统中较为常见,这样的网站通常在百度、搜狗等搜索引擎中收录页面极少。
建议页面中的连接不要动态产生。
3. 网站服务器不稳定,DNS解析不稳定。
4. 网站地图生成将大量访问和连接你的网站服务器(所以生成频率不应太高,一般普通网站建议1个月一次,更新多的可以一周一次),如果网站服务器设置了访问限制(比如大量返回403),将导致页面无法获得,请在生成地图时关闭限制。具体网站管理员可以在生成后发现页面大量减少,错误网址列表很多时,可以登录自己的网站服务器查看日志了解详情。
5. 网站存在大量跳转。网址跳转会影响抓取,同时如果跳出生成的当前域名或子域名和访问协议(http跳到https或https跳到http),要注意不同的域名或子域名对应不同的网址,比如:testyourdomain.com和www.testyourdomain.com是不同的域名。http://testyourdomain.com和https://testyourdomain.com也是不同的网站。网站地图生成只会把与输入网址相同的协议和域名前缀的算作同一站点,否则为跳出网站,不会继续抓取。
6. 多级站群,每一个二级域名或更多级子域名(比如:www.testyourdomain.com, a.testyourdomain.com, b.testyourdomain.com,x.b.testyoudomain.com均应该分别作为独立站点生成网站地图),均单独按一个独立站点计算,相互连接,会被认为是外链,不会生成网站地图索引。特别提示:主流搜索引擎,不同的子域名下的网站均是不同的站点,正常用于抓取都需要单独的sitemap.xml,具体可参考各搜索引擎的站长工具了解详情,特别是sitemap.xml用于提交时,URL列表中存在不同的子域名可能直接被丢弃或被判定为过渡优化。
7. 本工具,只会生成输入的入口网址相同协议(https或http)和域名的网址。其它的均认为是外链,不会继续抓取。比如输入:http://www.testyourdomain.com,只会抓取:http://www.testyourdomain.com/XXXXX 则不会抓取https://www.testyourdomain.com,也不会抓取:http://testyourdomain.com,更不会抓取:http://xxx.testyourdomain.com。