抖音爬虫从0到1-第三d:爬取抖音用户详细数据

抖音爬虫从0到1-第三d:爬取抖音用户详细数据,第1张

相关文章:

抖音 x-gorgon 03 免费生成接口 抖音630版本

抖音爬虫从0到1-第一d:环境配置

抖音爬虫从0到1-第二d:获取抖音用户数据

前面介绍了分析了抖音请求header中的 X-gorgon的获取方法 ,同时在分析 获取抖音用户数据的时候 ,我们发现爬取抖音用户的数据需要使用用户的user_id和sec_user_id,我们通过抓包工具获取用户的id以及sec_user_id,然后通过用户的关注列表和follow列表获取更多的用户的user_id和sec_user_id,下面我将介绍一下如何根据user_id和sec_user_id来获取抖音用户的详细数据。

首先在搭建好的环境中通过Fiddle抓取用户数据包。

我们知道了请求的api以及请求头里面都包含了哪些信息,我们就可以通过手动构造对应的请求参数来爬取用户的数据了。我已经在 前面的文章 获取到了 1W+ 的用户的 uid 以及 sec_user_id 的数据了,然后我们就可以通过这些数据来爬取用户的详细数据。

在文章 抖音爬虫从0到1-第二d:获取抖音用户数据 我们已经介绍了爬取抖音关注列表的api及其构造方法,其实获取用户详细信息和获取用户的关注列表的api基本一致,主要都是需要我们自行填充用户的user_id以及用户的sec_user_id还有一大堆的时间戳信息,其他的信息都是不变的。下面我们构造获取用户详细信息的api

上文我们已经分析了请求头,请求头的构造也比较方便,大部分内容都是固定的,需要我们填充的主要还是几个时间戳以及对应的X-Gorgon,其中X-Gorgon的构造方法比较复杂,在文章“ 抖音 x-gorgon 03 免费生成接口 抖音630版本 ”中我已经提供了一个生成X-Gorgon的接口,但是要注意填入正确的Cookie和Token你才能获得可用的X-Gorgon,否则你的Gorgon就是不可用的。下图是请求头里面的主要信息:

下面我写了一个构造请求头的函数:

根据上面对响应数据的分析,其对应的响应数据是json格式的,而且数据特别多,分析了一下,我找了一些对我比较有用的数据:

以上就是爬取用户信息的全部内容,码字不易,还请点赞关注,有任何问题请留言

你看的那个网上解释,不准确的。

jsonloads是将json对象转成原生对象。。。也就是说,原来是啥对象,就能给你转出来。只是数据类型,json只支持str类型。如果你原来的对象是dict类型,当然可以用datakeys()方法。但既然错误提示你的事原来的对象是str。。。

我举个例子你照着改吧

import requests

url = ">

json不是一种格式吗,能当爬虫用?你访问的url既然是空白的,那就说明不是这个url,注意找找究竟是哪个url,能访问并且显示想要的内容才是对的。最后就是如果能访问,爬虫却抓取不下来,就得考虑是不是被检测到爬虫了,需要修改请求头部等信息隐藏自身。

近期的一些微博爬虫内容,本篇主要将怎么根据关键词或指定用户进行博文爬取。

准备写的内容:

定向词及指定用户博文爬取方面,用的是微博网页版( >

以上就是关于抖音爬虫从0到1-第三d:爬取抖音用户详细数据全部的内容,包括:抖音爬虫从0到1-第三d:爬取抖音用户详细数据、python爬虫的一个问题,json.loads()不式转化字符串为dict类型吗、python爬虫post请求中的data参数怎么接受json格式的list等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/web/9462626.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-28
下一篇2023-04-28

发表评论

登录后才能评论

评论列表(0条)

    保存