
我最近在研究爬虫,你这个好像跟爬虫差不多。我说一下我的方法。
要用到request模块,cheerio模块(提供像jQuery一样的具有选择器作用的函数)
request(url, function(err,res,body){if (!err && resstatusCode == 200) {
var $ = cheerioload(html); //采用cheerio模块解析html
var items = $("repo-list li h3 a");//根据html选择器,获得链接所在的html元素
itemseach(function(index, item) {//如果获得了多个元素,则遍历每个元素
var src = itemattribshref";//将每个链接提取出来
searchHref($, src);//再分别对每个链接,进行 *** 作
});
}
});
function downloadZip($, src) {
request(src){
//获取每个链接的数据,这是你自己的 *** 作了
}
}
用过客户端交互获取。
Request对象的作用是与客户端交互,收集客户端的Form、Cookies、超链接,或者收集服务器端的环境变量。位于SystemWeb命名空间下,属于>
# coding:utf8
import urllibrequest
import os
def download_img(img_url):
request = urllibrequestRequest(img_url)
try:
response = urllibrequesturlopen(request)
img_name = img_urlsplit('/')[-1]
print(img_name)
filename = osgetcwd() + '/' + img_name
print(filename)
code = responsegetcode()
print(code)
if (code == 200):
with open(filename, 'wb') as f:
fwrite(responseread()) # 将内容写入
return filename
except:
return "failed"
if __name__ == '__main__':
# 下载要的
img_url = ''
print (download_img(img_url)+' download successfully!')
以上就是关于nodejs的request模块问题全部的内容,包括:nodejs的request模块问题、c#里边的,this.request是从哪里获取的、python爬取到了src的链接怎么去下载等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)