python爬虫需要什么基础

网页知识

html，js,css，xpath这些知识，虽然简单，但一定需要了解。 你得知道这些网页是如何构成的，然后才能去分解他们

>

一般爬虫你需要模拟浏览器的 *** 作，才能去获取网页的信息

如果有些网站需要登录，才能获取更多的资料，你得去登录，你得把登录的账号密码进行提交

有些网站登录后需要保存cookie信息才能继续获取更多资料

正则表达式

有了正则表达式才能更好的分割网页信息，获取我们想要的数据，所以正则表达式也是需要了解的

一些重要的爬虫库

url,url2

beautiul Soup

数据库

爬取到的数据我们得有个地方来保存，可以使用文件，也可以使用数据库，这里我会使用mysql，还有更适合爬虫的MongoDB数据库，以及分布式要用到的redis 数据库

爬虫框架

PySpider和Scrapy 这两个爬虫框架是非常NB的,简单的爬虫可以使用urllib与urllib2以及正则表达式就能完成，但高级的爬虫还得用这两个框架。 这两个框架需要另行安装。后面一起学习

反爬虫

有时候你的网站数据想禁止别人爬取，可以做一些反爬虫处理 *** 作。 打比方百度上就无法去查找淘宝上的数据，这样就避开了搜索引擎的竞争，淘宝就可以搞自己的一套竞价排名

分布式爬虫

使用多个redis实例来缓存各台主机上爬取的数据。

爬虫要学的东西还是挺多的，想把爬虫玩得666，基本就是这些知识点吧！

以下实例是一个完整的代码，实现了从博客获取内容发布至百度，分别实践抓取博客内容、模拟登录、表单提交这几步；

#注意，以下程序是一个完全程序，如果只需要实现模拟登录，提交表单，删除抓取部分即可，相关的代码已经清楚标注，可以根据自己实际情况修改。

代码如下：

# -- coding: utf-8 --

import re

import urllib

import urllib2

import cookielib

#第一步，获取博客标题和正文 ，“IP”可以改为实际地址；

url = "IP"

sock = urlliburlopen(url)

html = sockread()

sockclose()

content = refindall('(<=blogstory">)(=<p class="right artical)', html, reS)

content = refindall('<script></script>()', content[0], reS)

title = refindall('(<=<title>)()- - CSDN(=</title>)', html, reS)

#根据文章获取内容新建表单值

blog = {'spBlogTitle': title[0]decode('utf-8')encode('gbk'), #文章标题

'spBlogText': content[0]decode('utf-8')encode('gbk'),#文章内容

'ct': "1",

'cm': "1"}

del content

del title

#第二步，模拟登录百度；

cj = cookielibCookieJar()

#登陆百度的用户名和密码

post_data = urlliburlencode({'username': '[username]', 'password': '[password]', 'pwd': '1'})

#登录地址路径

path = '>

现在之所以有这么多的小伙伴热衷于爬虫技术，无外乎是因为爬虫可以帮我们做很多事情，比如搜索引擎、采集数据、广告过滤等，以Python为例，Python爬虫可以用于数据分析，在数据抓取方面发挥巨大的作用。

但是这并不意味着单纯掌握一门Python语言，就对爬虫技术触类旁通，要学习的知识和规范还有喜很多，包括但不仅限于HTML 知识、>

requestsget(url)headers是个字典，里面有个键’Content-Length’对应的值就是文件大小啊，直接提取出来就可以了

import requests

url='>

经常有朋友需要帮忙做公众号文章爬取，这次来做一个各种方法的汇总说明。

目前爬取微信公众号的方法主要有3种：

通过爬取第三方的公众号文章聚合网站

通过微信公众平台引用文章接口

通过抓包程序，分析微信app访问公众号文章的接口

通过第三方的公众号文章聚合网站爬取

微信公众号文章一直没有提供一个对外的搜索功能，直到2013年微信投资搜狗之后，搜狗搜索接入微信公众号数据，从此使用搜狗搜索就可以浏览或查询到相关公众号以及文章。

域名是: >

可以直接搜索公众号或者文章的关键字，一些热门的公众号更新还是很及时的，几乎做到了和微信同步。

所以，爬一些热门公众号可以使用搜狗微信的接口来做，但是一些小众公众号是搜索不到的，而且搜狗的防爬机制更新的比较勤，获取数据的接口变化的比较快，经常两三个月就有调整，导致爬虫很容易挂，这里还是建议使用 selenium爬比较省心。另外搜狗对每个ip也有访问限制，访问太频ip会被封禁24小时，需要买个ip池来做应对。

还有一些其他公众号文章聚合网站(比如传送门)也都存在更新不及时或者没有收录的问题，毕竟搜狗这个亲儿子都不行。

通过微信公众平台引用文章接口

这个接口比较隐蔽而且没法匿名访问，所有得有一个公众号，建议新注册一个公众号比较好，免得被封。

下面开始具体步骤：首先登录自己的微信公众号，在进去的首页选择 新建群发，然后再点击 自建图文，在文章编辑工具栏中找到 超链接，如下图：

点击这个超链接按钮，就会d出一个对话框，链接输入方式这一项选中 查找文章，如下图：

到这里就可以输入公众号的名字，回车之后微信就会返回相匹配的公众号列表，接着点击你想抓取的公众号，就会显示具体的文章列表了，已经是按时间倒序了，最新的文章就是第一条了。

微信的分页机制比较奇怪，每个公众号的每页显示的数据条数是不一样的，分页爬的时候要处理一下。

通过chrome分析网络请求的数据，我们想要的数据已经基本拿到了，文章链接、封面、发布日期、副标题等，如

由于微信公众平台登录验证比较严格，输入密码之后还必须要手机扫码确认才能登录进去，所以最好还是使用 selenium做自动化比较好。具体微信接口的分析过程我就不列了，直接贴代码了：

import re

import time

import random

import traceback

import requests

from selenium import webdriver

class Spider(object):

'''

微信公众号文章爬虫

'''

def __init__(self):

# 微信公众号账号

selfaccount = '286394973@qqcom'

# 微信公众号密码

selfpwd = 'lei4649861'

def create_driver(self):

'''

初始化 webdriver

'''

options = webdriverChromeOptions()

# 禁用gpu加速，防止出一些未知bug

optionsadd_argument('--disable-gpu')

# 这里我用 chromedriver 作为 webdriver

# 可以去 >

selfdriver = webdriverChrome(executable_path='/chromedriver', chrome_options=options)

# 设置一个隐性等待 5s

selfdriverimplicitly_wait(5)

def log(self, msg):

'''

格式化打印

'''

print('------ %s ------' % msg)

def login(self):

'''

登录拿 cookies

'''

try:

selfcreate_driver()

# 访问微信公众平台

selfdriverget('>

# 等待网页加载完毕

timesleep(3)

# 输入账号

selfdriverfind_element_by_xpath("///input[@name='account']")clear()

selfdriverfind_element_by_xpath("///input[@name='account']")send_keys(selfaccount)

# 输入密码

selfdriverfind_element_by_xpath("///input[@name='password']")clear()

selfdriverfind_element_by_xpath("///input[@name='password']")send_keys(selfpwd)

# 点击登录

selfdriverfind_elements_by_class_name('btn_login')[0]click()

selflog("请拿手机扫码二维码登录公众号")

# 等待手机扫描

timesleep(10)

selflog("登录成功")

# 获取cookies 然后保存到变量上，后面要用

selfcookies = dict([[x['name'], x['value']] for x in selfdriverget_cookies()])

except Exception as e:

tracebackprint_exc()

finally:

# 退出 chorme

selfdriverquit()

def get_article(self, query=''):

try:

url = '>

# 设置headers

headers = {

"HOST": "mpweixinqqcom",

"User-Agent": "Mozilla/50 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/53736 (KHTML, like Gecko) Chrome/7203626109 Safari/53736"

}

# 登录之后的微信公众号首页url变化为：>

# 从这里获取token信息

response = requestsget(url=url, cookies=selfcookies)

token = refindall(r'token=(\d+)', str(responseurl))[0]

timesleep(2)

selflog('正在查询[ %s ]相关公众号' % query)

search_url = '>

# 搜索微信公众号接口需要传入的参数，

# 有三个变量：微信公众号token、随机数random、搜索的微信公众号名字

params = {

'action': 'search_biz',

'token': token,

'random': randomrandom(),

'query': query,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0',

'count': '5'

}

# 打开搜索微信公众号接口地址，需要传入相关参数信息如：cookies、params、headers

response = requestsget(search_url, cookies=selfcookies, headers=headers, params=params)

timesleep(2)

# 取搜索结果中的第一个公众号

lists = responsejson()get('list')[0]

# 获取这个公众号的fakeid，后面爬取公众号文章需要此字段

fakeid = listsget('fakeid')

nickname = listsget('nickname')

# 微信公众号文章接口地址

search_url = '>

# 搜索文章需要传入几个参数：登录的公众号token、要爬取文章的公众号fakeid、随机数random

params = {

'action': 'list_ex',

'token': token,

'random': randomrandom(),

'fakeid': fakeid,

'lang': 'zh_CN',

'f': 'json',

'ajax': '1',

'begin': '0', # 不同页，此参数变化，变化规则为每页加5

'count': '5',

'query': '',

'type': '9'

}

selflog('正在查询公众号[ %s ]相关文章' % nickname)

# 打开搜索的微信公众号文章列表页

response = requestsget(search_url, cookies=selfcookies, headers=headers, params=params)

timesleep(2)

for per in responsejson()get('app_msg_list', []):

print('title ---> %s' % perget('title'))

print('link ---> %s' % perget('link'))

# print('cover ---> %s' % perget('cover'))

except Exception as e:

tracebackprint_exc()

if __name__ == '__main__':

spider = Spider()

spiderlogin()

spiderget_article('python')

代码只是作为学习使用，没有做分页查询之类。实测过接口存在访问频次限制，一天几百次还是没啥问题，太快或者太多次访问就会被封24小时。

这个非常简单，requests+BeautifulSoup组合就可以轻松实现，下面我简单介绍一下，感兴趣的朋友可以自己尝试一下，这里以爬取糗事百科网站数据（静态网站）为例：

1首先，安装requets模块，这个直接在cmd窗口输入命令“pipinstallrequests”就行，如下：

2接着安装bs4模块，这个模块包含了BeautifulSoup，安装的话，和requests一样，直接输入安装命令“pipinstallbs4”即可，如下：

3最后就是requests+BeautifulSoup组合爬取糗事百科，requests用于请求页面，BeautifulSoup用于解析页面，提取数据，主要步骤及截图如下：

这里假设爬取的数据包含如下几个字段，包括用户昵称、内容、好笑数和评论数：

接着打开对应网页源码，就可以直接看到字段信息，内容如下，嵌套在各个标签中，后面就是解析这些标签提取数据：

基于上面网页内容，测试代码如下，非常简单，直接find对应标签，提取文本内容即可：

程序运行截图如下，已经成功抓取到网站数据：

至此，我们就完成了使用python来爬去静态网站。总的来说，整个过程非常简单，也是最基本的爬虫内容，只要你有一定的python基础，熟悉一下上面的示例，很快就能掌握的，当然，你也可以使用urllib，正则表达式匹配等，都行，网上也有相关教程和资料，介绍的非常详细，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。

在 Python 中进行网页数据抓取时，如果需要发送 POST 请求，需要将需要提交的数据写在 post 的 data 字段中。具体写法如下：

其中，data 参数的值是一个字典类型，里面包含需要提交的数据。根据实际需要修改参数名和参数值即可。

以上就是关于python爬虫需要什么基础全部的内容，包括:python爬虫需要什么基础、python 使用requests模块, 如何模拟进行登录并执行之后的 *** 作、如何入门 Python 爬虫等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！