网站的内部设置，其实对网站优化也会有一定的影响，因此，在进行网站优化之前，一定要把网站的一些设置调整好，不然在网站优化的时候，很容易阻碍蜘蛛爬取，不利于网站优化，所以，针对这个问题，我们下面来了解网站的哪些设置会影响蜘蛛爬取吧！
一、登录设置
有些网站会设置注册账号的服务，登录之后才能看到网站的内容，这种设置对于蜘蛛来说不友好，因为蜘蛛在爬行网站时，不会进行自动注册登录，所以就会对其识别不了，自然也就抓取不到了。
二、动态URL
所谓动态URL就是在链接中“?”同时以aspx、asp、jsp、perl、php、cgi为后缀的url，便是动态URL，动态URL的变动性较大，不如静态URL稳定，搜索引擎一般对动态URL不够信任，从而使很多动态URL的网页不能被收录。
三、使用cookies
cookies的作用是识别用户的身份，如果网站在优化时没有进行开启cookies，那么就将无法进行访问，这样就会导致蜘蛛也无法访问，从而影响抓取。
四、Flash文件
有些网站在进行制作时，为了能够能增加网站的视觉效果，会给网站设计一些Flash文件，但这些文件搜索引擎并看不到，当然蜘蛛也更加无法读取相关内容，就会影响蜘蛛对网站的爬取，所以为了能体现网站优化效果，不提倡以Flash文件做首页图片。
总结了这么多，如果你的网站设置也踩雷了，请记得要及时更改，以免给蜘蛛爬行网页造成不好的影响，相信大家对这些网站的设置有了一定的了解，一定能够制定一套详细的网站优化方案，帮助网站提升排名哦！