新闻动态
新闻动态
- 有哪些你去旅行后祛魅的城市?
- 维护一个大型开源项目是怎样的体验?
- 哪些 Rust 库让你相见恨晚?
- golang和rust你选择哪个?
- 工业克苏鲁什么意思?
- 刘亦菲和张柏芝年轻的时候,谁更美?
- 你见过最上进的人是怎样的?
- Firefox是如何一步一步衰落的?
- 为什么好看的家一看就是国外的?
- 开腹手术,医生是如何处理患者的腹部脂肪的?
联系我们
邮箱:youweb@qq.com
手机:13988888888
电话:020-88888888
地址:广东省广州市番禺经济开发区
公司动态
12306 网站的根目录下为什么连 robots.txt 文件(反爬虫协议)都没有?
作者:admin 发布时间:2025-06-22 03:30:10 点击:
你当然可以爬12306。
要不携程飞猪去哪网这些的数据是哪来的。
这种爬虫反而给12306省流量。
因为如果没有第三方网站,所有查火车信息的流量(哪怕不买票)就都得是12306接收。
而这些网站虽然在抢票的时候会浪费一些流量(卡放票时间反复刷票),但是如果有人只查票不买票,则对12306的流量消耗为0。
不过你要是一天爬它几亿次,就别怪晶哥抓你了。
。
新闻资讯
-
2025-06-20 15:50:14lar***el是php架构最垃圾的性能,为什么那么多人还是自我感觉良好?
-
2025-06-20 17:10:13美国的医疗费用真的有这么贵吗?
-
2025-06-20 16:25:13为什么中国现在全球军事实力第一,但包括中国人在内很多人不认可?
-
2025-06-20 17:30:12你见过身边身材最好的女生是什么样子的?
-
2025-06-20 16:40:13历史上有没有生活在三个及以上朝代的人?
-
2025-06-20 15:50:14如何基于Docker进行开发?
相关产品
