为了避免网站服务器被蜘蛛（网络爬虫）抓取到崩溃，可以采取以下措施：

1. 优化robots.txt

- 合理设置：确保`robots.txt`文件正确配置，限制不必要的爬虫访问。

- 使用crawl-delay：某些搜索引擎支持`crawl-delay`指令，可以设置蜘蛛抓取页面之间的延迟时间。

2. 网站结构优化

- 清晰的网站结构：确保网站有清晰的结构和合理的内部链接，帮助蜘蛛高效抓取。

- 避免大量动态URL：减少动态生成页面的数量，因为它们可能会产生大量的相似内容。

3. 服务器资源优化

- 增强服务器性能：升级服务器硬件，如CPU、内存和带宽。

- 负载均衡：使用负载均衡器分散请求到多个服务器。

4. 使用缓存

- 页面缓存：启用页面缓存，减少服务器生成页面的次数。

- 数据库缓存：使用数据库缓存减少数据库查询次数。

5. 限制请求频率

- IP限制：对来自同一IP地址的请求频率进行限制。

- 用户代理识别：识别并限制某些异常用户代理的请求。

6. 使用CDN

- 内容分发网络（CDN）：使用CDN可以减轻源服务器的压力，并加速内容的分发。

7. 监控和日志分析

- 服务器监控：监控服务器的CPU、内存、带宽和I/O使用情况。

- 访问日志分析：定期分析访问日志，识别异常访问模式。

8. SEO优化

- 合理的SEO策略：避免过度优化导致蜘蛛频繁抓取。

- 合理的链接建设：避免短时间内大量链接指向网站，导致蜘蛛过度关注。

9. 安全措施

- 防止恶意爬虫：使用防火墙或其他安全工具阻止已知的恶意爬虫。

- 验证码：对于异常频繁的请求，可以要求用户验证（如验证码）以区分蜘蛛和真实用户。

10. 定期检查和测试

- 压力测试：定期进行压力测试，确保服务器可以处理高流量请求。

- 代码审查：定期审查网站代码，确保其高效运行。

通过上述措施，可以有效地避免因蜘蛛抓取导致的网站服务器崩溃。重要的是要对网站进行持续的管理和优化，确保服务器资源的合理利用。