大数据中的日志数据包括哪些

大数据中的日志数据包括哪些,第1张

日志数据的类型包括:1.错误日志(errorlog);2.慢查询日志(slow query log) ;3.一般查询日志(general log);4.二进制日志(binlog);5.中继日志(relay log);。

日志一般分成Undo与Redo:Undo一般用于事务的取消与回滚,记录的是数据被修改前的值;Redo一般用于恢复已确认但未写入数据库的数据,记录的是数据修改后的值。例如:数据库忽然断电重启,数据库启动时一般要做一致性检查,会把已写到Redo的数据但未写入数据库的数据重做一遍。

大数据以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合,最早应用于IT行业,目前正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析,从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据必须采用分布式架构,对海量数据进行分布式数据挖掘,因此必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

Volume:数据量巨大。

体量大是大数据区分于传统数据最显著的特征。 一般关系型数据库处理的数据量在TB级,大数据所处理的数据量通常在PB级以上。

Variety:数据类型多。

大数据所处理的计算机数据类型早已不是单一的文本形式或者结构化数据库中的表,它包括订单、日志、BLOG、微博、音频、视频等各种复杂结构的数据。

Velocity:数据流动快。

速度是大数据区分于传统数据的重要特征。 在海量数据面前,需要实时分析获取需要的信息,处理数据的效率就是组织的生命。


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9522264.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-29
下一篇2023-04-29

发表评论

登录后才能评论

评论列表(0条)

    保存