新闻动态
新闻动态
- 你们的腰突是怎么突然好的？
- 对于PC端应用的自动化测试，现在有什么比较流行和方便的自动化工具么？
- 用PHP写了个小框架，怎么才能得到大佬们的指点？
- 公司就一个后端一个前端，有必要搞微服务吗？
- 电视机为什么有大流量上传?
- 运动员张国伟用两个对吹风扇让纸飞机「悬停」，这是怎么实现的？从物理学角度如何解释？
- 哪个瞬间让你觉得编程只是一门技术？
- 中办、国办发文，拟新建改扩建 1000 所以上优质普高，将带来哪些影响？可能面临哪些挑战？
- 有哪些故意缩短产品寿命的设计？
- 为什么男生都不喜欢173身高的女生啊?
联系我们
邮箱：youweb@qq.com
手机：13988888888
电话：020-88888888
地址：广东省广州市番禺经济开发区
公司动态
12306 网站的根目录下为什么连 robots.txt 文件（反爬虫协议）都没有？
作者：admin 发布时间：2025-06-22 02:15:10 点击：
你当然可以爬12306。
要不携程飞猪去哪网这些的数据是哪来的。
这种爬虫反而给12306省流量。
因为如果没有第三方网站，所有查火车信息的流量（哪怕不买票）就都得是12306接收。
而这些网站虽然在抢票的时候会浪费一些流量（卡放票时间反复刷票），但是如果有人只查票不买票，则对12306的流量消耗为0。
不过你要是一天爬它几亿次，就别怪晶哥抓你了。
。
新闻资讯
-
2025-06-25 16:00:14你怎么评价日本某个前空姐说：“如果我在经济舱，年薪2000万日元以下的乘客没有资格给我递名片”？
-
2025-06-25 17:40:13美国率领北约敢和中国开战吗？
-
2025-06-25 16:10:13为什么说Kafka具有高性能？其实现过程又是怎样的呢？
-
2025-06-25 15:55:13个人开发者或小企业不申请经营性ICP备案，怎样开发APP盈利?
-
2025-06-25 16:10:13我毕业想成为前端工程师，可是前端技术太多，越学越多，可是我想成为技术强的人，又很无助，怎么办?
-
2025-06-25 17:30:12怎样判断一个人的智商在你之上？
相关产品
