大数据采集的方法

大数据的采集方法

1）数据库采集

Redis、MongoDB和HBase等NoSQL数据库常用于数据的采集。企业通过在采集端部署大量数据库，并在这些数据库之间进行负载均衡和分片，来完成大数据采集工作。

2）系统日志采集

系统日志采集主要是手机公司业务平台日常产生的大量日志数据，供离线和在线的大数据分析系统使用。高可用性、高可靠性、可扩展性是日志收集系统所具有的基本特征。系统日志采集工具均采用分布式架构，能够满足每秒数百MB的日志数据采集和传输需求。

3）网络数据采集

网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息的过程。

4）感知设备数据采集

感知设备数据采集是指通过传感器、摄像头和其他智能终端自动采集信号、图片或录像来获取数据。

1、从数据库导入

在大数据技术风靡起来前，关系型数据库(RDMS)是主要的数据分析与处理的途径。发展至今数据库技术已经相当完善，当大数据出现的时候，行业就在考虑能否把数据库数据处理的方法应用到大数据中，于是 Hive、Spark SQL 等大数据 SQL 产品就这样诞生。

2、日志导入

日志系统将我们系统运行的每一个状况信息都使用文字或者日志的方式记录下来，这些信息我们可以理解为业务或是设备在虚拟世界的行为的痕迹，通过日志对业务关键指标以及设备运行状态等信息进行分析。

3、前端埋点

为什么需要埋点?现在的互联网公司越来越关注转化、新增、留存，而不是简单的统计 PV、UV。这些分析数据来源通过埋点获取，前端埋点分为三种：手工埋点、可视化埋点、自动化埋点。

4、爬虫

时至至今， 爬虫的数据成为公司重要战略资源，通过获取同行的数据跟自己的数据进行支撑对比，管理者可以更好的做出决策。而且越难爬虫获取竞争对手的数据，对于公司来说是越有价值。

---