对于淘宝、京东商品评论只能看100页的反爬虫措施要怎么解决，怎么才能爬取一件商品的所有评论

无法做到。目前网站就是只能显示100页。这是受技术和数据库以及服务器的限制。连商品排名都只能显示100页。

抓取一件商品的所有评论恐怕也无法做到。因为淘宝亚马逊之类都有验证措施。

"除了拍拍网外，一些C2C网站也提供了供卖家使用的助理软件，可以将助理软件中的商品导出为CSV文件。拍拍助理可以读取其他C2C网站的CSV资料，导入到拍拍助理。具体的步骤如下：

1打开其他C2C网站的助理软件，并下载网上的商品；

2选中刚才下载的商品，将这些商品导出为csv文件；

3登录进拍拍助理，选中“草稿箱”文件夹，然后点击工具条上的“导入商品”按钮；

4在d出的文件选择对话框中，选中刚才导出的csv文件，确定后d出下面的导入商品对话框界面；

5点击“开始”后，拍拍助理会根据csv中的具体内容，提示csv文件中的分类信息不能导入，您可以先选择一个拍拍网的商品分类作为导入商品的默认分类，本次导入的商品分类将全部设置为您选择的默认分类。如下图所示。

在导入完毕后，你还可以使用批量编辑功能，对商品分类或其他属性进行快速的修改；

6选择“是”，即可出现分类选择界面，您可以在此先选择一个默认的分类；

7选择一个分类后，出现以下提示，确定后即可自动进行商品资料导入；

8导入完毕后，在以下界面中显示导入商品信息。点击“关闭”即可，然后您在草稿箱中对商品进行修改、编辑。

具体的您可以看看下面这个所给的链接:

>

首先淘宝的商品数据以及不只是存放在数据库里的，而是分布式数据库和全文检索引擎同步，比如Whoosh,比如solr。了解solr之前需要先了解lucene,通常后台会隔一段时间把数据库里的数据同步到solr中，您查询内容其实是通过solr进行检索的。通常也会单独存放在分布式文件系统里，比如HDFS或者FastDFS，都可以实现海量的小文件吞吐。再多的细节我也不太清楚了，我有朋友在阿里，但也只是个p6，您如果有条件，可以和一些阿里研究院的人沟通下，反正我是找不到哈哈，水平太差。

这个就是想开发一个Java爬虫功能对吧，这个其实有现成的工具，你去讯云资源网里面有源码工具下载，就能直接用！是一个Java工具类util能够根据地址爬取抓取你需要的内容进行解析即可

讯云资源网是一个关于资源下载、快速问答和新闻资讯的网站，下载资源及新闻资讯内容丰富多彩。主要有一下几个模块：JDK下载、数据库下载、API下载、工具类下载、其他下载、快速问答、最新资讯开心一刻。

纯手打求采纳。

以上就是关于对于淘宝、京东商品评论只能看100页的反爬虫措施要怎么解决，怎么才能爬取一件商品的所有评论全部的内容，包括:对于淘宝、京东商品评论只能看100页的反爬虫措施要怎么解决，怎么才能爬取一件商品的所有评论、请问淘宝商品数据库备份要怎么弄呢、淘宝是如何实现sql大量数据模糊查询的等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！