关于screamingfrogseospider的信息

需要爬取的页面，在robots文件中的disallow里面不要写入即可。

要在自己的网站上找到断开的链接，你可以选择使用可以选择使用Google Analytics分析和Screaming Frog的SEO Spider等免费工具免费版本的SEO Spider最多可以抓取500个URL此示例在示例站点上展示了Screaming Frog的免费SEO Spider请针对你自己的网站执行以下步骤单击顶部菜单中的“响应代码”选项卡。