云端自动切换代理IP 超大带宽 弹性并发
自由设置转发规则 两大资源池随时切换
实时提取代理IP 完备的RESTful-API接口
线路遍布全国各地 响应极快 全部高匿名
资源独享 弹性扩展 IP最长可保持48小时
十人合租 业务隔离 均摊成本
实时提取代理IP 完备的API接口 线路遍布全国各地
助力学子拥抱数字经济 从校园开始抢跑
超长试用时间 零成本体验全部产品
大型IP池 >
定制IP池 >
支持 >
改成self.parse_item试试
这样吗
这是通用爬虫,不是普通爬虫
也不行
网上找了好几个 都是这么写的 但是就是不调用callback里面的函数
因为你规则没有匹配到
link = LinkExtractor(allow=r page/\d+\.html ) 这个没有匹配到?
你不用crawlspider这个模型,
不要用crawlspider
大部分网站都用起来不方便
还是用LinkExtractor,提取打印出来看看
创建普通爬虫就行