网络信息的抓取软件能否自动、定时、不重复的抓取信息吗求高手赐教

自动、定时、不重复这几个不算是很难的技术了。不同的信息抓取系统的规则都不一样，详细自己问问就知道反正就我所指采集的精准方面来说，乐思应该是比较牛,我找了些资料

乐思网络信息采集系统最大的特点是：采集方法的灵活性与采集数据的准确性

灵活性：任何复杂的查询与页面布局都可以灵活处理

准确性：结果数据高度准确(99%-100%) 对目标网站进行信息自动抓取，支持HTML页面内各种数据的采集，如文本信息，URL，数字，日期，等 用户对每类信息自定义来源与分类 可以下载与各类文件

支持用户名与密码自动登录 支持命令行格式，可以Windows任务计划器配合，定期抽取目标网站

支持记录唯一索引，避免相同信息重复入库 支持智能替换功能，可以将内容中嵌入的所有的无关部分如广告去除

支持多页面文章内容自动抽取与合并

支持下一页自动浏览功能

支持直接提交表单

支持模拟提交表单

支持动作脚本

支持从一个页面中抽取多个数据表

支持数据的多种后期处理方式 数据直接进入数据库而不是文件中，因此与利用这些数据的网站程序或者桌面程序之间 没有任何耦合

支持数据库表结构完全自定义，充分利用现有系统

支持多个栏目的信息采集可用同一配置一对多处理 保证信息的完整性与准确性，绝不会出现乱码

支持所有主流数据库：MS SQL Server, Oracle, DB2, MySQL, Sybase, Interbase, MS Access等

常用数据库

1 IBM 的DB2

作为关系数据库领域的开拓者和领航人，IBM在1997年完成了System R系统的原型，1980年开始提供集成的数据库服务器—— System/38，随后是SQL/DSforVSE和VM，其初始版本与SystemR研究原型密切相关。DB2 forMVSV1 在1983年推出。该版本的目标是提供这一新方案所承诺的简单性，数据不相关性和用户生产率。1988年DB2 for MVS 提供了强大的在线事务处理（OLTP）支持，1989 年和1993 年分别以远程工作单元和分布式工作单元实现了分布式数据库支持。最近推出的DB2 Universal Database 61则是通用数据库的典范，是第一个具备网上功能的多媒体关系数据库管理系统，支持包括Linux在内的一系列平台。

2 Oracle

Oracle 前身叫SDL，由Larry Ellison 和另两个编程人员在1977创办，他们开发了自己的拳头产品，在市场上大量销售，1979 年，Oracle公司引入了第一个商用SQL 关系数据库管理系统。Oracle公司是最早开发关系数据库的厂商之一，其产品支持最广泛的 *** 作系统平台。目前Oracle关系数据库产品的市场占有率名列前茅。

3 Informix

Informix在1980年成立，目的是为Unix等开放 *** 作系统提供专业的关系型数据库产品。公司的名称Informix便是取自Information 和Unix的结合。Informix第一个真正支持SQL语言的关系数据库产品是Informix SE（StandardEngine）。InformixSE是在当时的微机Unix环境下主要的数据库产品。它也是第一个被移植到Linux上的商业数据库产品。

4 Sybase

Sybase公司成立于1984年，公司名称“Sybase”取自“system”和 “database” 相结合的含义。Sybase公司的创始人之一Bob Epstein 是Ingres 大学版（与System/R同时期的关系数据库模型产品）的主要设计人员。公司的第一个关系数据库产品是1987年5月推出的Sybase SQLServer10。Sybase首先提出Client/Server 数据库体系结构的思想，并率先在Sybase SQLServer 中实现。

5 SQL Server

1987 年，微软和 IBM合作开发完成OS/2，IBM 在其销售的OS/2 ExtendedEdition 系统中绑定了OS/2Database Manager，而微软产品线中尚缺少数据库产品。为此，微软将目光投向Sybase，同Sybase 签订了合作协议，使用Sybase的技术开发基于OS/2平台的关系型数据库。1989年，微软发布了SQL Server 10 版。

6 PostgreSQL

PostgreSQL 是一种特性非常齐全的自由软件的对象——关系性数据库管理系统（ORDBMS），它的很多特性是当今许多商业数据库的前身。PostgreSQL最早开始于BSD的Ingres项目。PostgreSQL 的特性覆盖了SQL-2/SQL-92和SQL-3。首先，它包括了可以说是目前世界上最丰富的数据类型的支持；其次，目前PostgreSQL 是唯一支持事务、子查询、多版本并行控制系统、数据完整性检查等特性的唯一的一种自由软件的数据库管理系统

7mySQL

mySQL是一个小型关系型数据库管理系统，开发者为瑞典MySQL AB公司。在2008年1月16号被Sun公司收购。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。MySQL的官方网站的网址是： >

数据库可以直接导出当然是最好的，不过，一般不开放这权限，你说的是网站吧，网站更加不能。

如果是可以复制粘贴把数据下载下来也可以的，不过就是人工太累太辛苦，没效率。

肯定还有其他的好办法的，博 为的小 帮软件机器人可以把重复工作自动化，也就是把复制粘贴的工作自动化，简单配置一下，十分钟的事情了，然后可以让小帮自动运行

以上就是关于网络信息的抓取软件能否自动、定时、不重复的抓取信息吗求高手赐教全部的内容，包括:网络信息的抓取软件能否自动、定时、不重复的抓取信息吗求高手赐教、数据库软件 有哪些！！、什么软件可以快速导出数据库数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！