Python爬虫实战（3）selenium完成瀑布流数据爬取

爬取时间：2021/01/27

系统环境：Windows 10

所用工具：Jupyter Notebook\Python 3.0

涉及的库：selenium\time\pandas\matplotlib\jieba\stylecloud

蛋肥想法： 借助selenium，实现对“查看更多”的自动点击，目标是获取2020年的文章相关数据。

蛋肥想法： 36氪的数据很满足强迫症，没有空格换行，只需筛选出2020年的数据保存。

蛋肥想法： 此次重点是学习selenium，所以只简单做一下数据可视化。

我给楼主说一下思路吧

如果是瀑布流加载，首先要全局监听scroll事件，当页面滚动的时候，获取页面的scrollTop值，当scrollTop的值达到某个定值的时候时候异步去请求后端，请求到的数据在append的页面里就可以了。

如果像慕课网那样的动画，可以考虑用fullpage插件，到滚动到每一个位置的时候调用一个事件函数执行动画

---