一个爬取长光公司卫星视频的小demo(Python Spider demo for ChangGuang Satellite Videos)
代码见lizilong1993/python_spider: learn python spider (github.com)
APIs
parameters | 意义 | example | 备注 |
---|---|---|---|
url | 爬取的视频目录地址 | http://www.jl1.cn/EWeb/product2.aspx?id=21&tid=30 | |
pageNumClass | 底部总页数的标签名的Class | ‘list_right3a’ | |
videoClass | 每个视频详情页的a标签的href前缀 | ‘product_view.aspx’ | |
titleClass | 视频详情页的标题的Class | ‘col-md-10 col-md-push-1 ej_title’ |
这是一个简单的小demo,主要是我在搜集数据的时候发现自己一个一个下载改名太麻烦了,就干脆自己学着写了个python的爬虫来代替自己干活,主要是多线程(其实是多进程🤣)还挺快。
本部落格所有文章除特別声明外,均采用CC BY-NC-SA 4.0许可协议。转载请注明来自lizilong!
评论