如何解决增加闰秒后引起linux系统重启问题

如何解决增加闰秒后引起linux系统重启问题,第1张

a. 若由于其他原因实在无法进行内核升级,且应用对时间的敏感度不是非常高,

容许有1秒钟的差值,有如下建议:

对于使用ntpd服务进行时间同步的RHEL,至少提前1天停止ntpd服务。并确保每台

机器上安装的tzdata的版本低于2011n-2(不 包含该版本)。

对于不使用ntpd服务进行时间同步的RHEL,确保每台机器上安装的tzdata的版本低

于2011n-2(不包含该版本)。

从而使系统不进行闰秒调整,待该事件完成之后,再可启动ntpd服务进行同步,或

者手动修改时间为正确时间。 www.2cto.com

提示:对于内部的以RHEL作为NTP服务器的系统,它是NTP服务器的同时,也是使用

ntpd服务与更上层NTP服务器进行时间同步的客户端, 故上述方法也适用于该系统。

b. 若由于其他原因实在无法进行内核升级,但应用对时间的敏感度非常高,不容

许有1秒钟的差值,则有可能发生kernel hang住的问题,尽管这个可能性是非常小的。

如果发生问题,可考虑重启该系统恢复。

根据这个情况,相应的解决方法如下:

如相关设备是使用Linux kernel 为2.6.18-164.e15以前的Linux系统,请做如下预防工作:

1、2012年6月28日当天(北京时间23点以前)先确认ntp服务已同步,然而关闭ntpd服务。

2、2012年7月2日(北京时间8点以后)当天开启ntpd服务,并确认ntp服务已同步。

对照上面的解决方法,检测所有服务器(100多台,累死了),发现rhel5.4服务器的内核都为2.6.18-164.e15,但都没有开启ntp服务,而所有的SUSE Linux Enterprise Server 10 的linux系统里内核都是2.6.16.60-0.54.5-smp,就1台数据库服务器启动了ntp服务,下面演示是如何的解决这个问题方法:

1、先查看服务器是否有开启ntp服务,可以使用以下命令查询:

netstat -aunl|grep123 #由于123是ntp启动的端口,所有可以使用netstat来查看ntp的123端口,查看ntp服务是否启动;

ps -ef|grep ntp #查看ntp服务的进程是否在后台运行;

service ntp status #使用service来查看ntp服务的启动状态

下面是使用这3中方法进行的检测结果

www.2cto.com

可以看得我的服务器里ntp服务正在运行

关闭是方法如下:

直接杀掉ntp的进程,命令为:kill -9 $(ps -ef|grep ntp|grep -v grep|awk '{print $2}');

使用service来关闭ntp,命令为:service ntp stop;

关闭后为了保证安全,还需要把ntp开机自动启动给关闭,命令为:chk

谷歌、Meta等四大科技巨头倡议废除闰秒

谷歌、Meta等四大科技巨头倡议废除闰秒,谷歌、微软、Meta和亚马逊近日呼吁废除闰秒,美国和法国已对此表示赞同。谷歌、Meta等四大科技巨头倡议废除闰秒。

谷歌、Meta等四大科技巨头倡议废除闰秒1

大厂们再也无法忍受闰秒带来的一堆bug了。

现在,谷歌Meta微软亚马逊等一众科技巨头发起了一项倡议:废除闰秒!

闰秒这玩意,说白了就是通过给“世界标准时间”加(或减)1秒,让它更接近“太阳时”。

“世界标准时间”(UTC)与原子钟测量的精确时间同步,“太阳时”根据地球自转测量得出,但地球自转并不稳定。

例如,两者相差超过0.9秒时,就在23点59分59秒与00点00分00秒之间,插入一个原本不存在的“23点59分60秒”,来将时间调慢一秒钟。

然鹅,就是这个看似有点用的闰秒,把一众程序员愁坏了。

凭空少一秒、或冒出一个“第60秒”,就得出动一众人调整时间(如暂时关闭NTP等)、修改程序,尽可能降低闰秒带来的影响。对此Meta表示:

闰秒造成的破坏,比它带来的用处大多了。

这群大厂还找来了两家权威机构,即美国国家标准与技术研究院(NIST)和国际计量局(BIPM),与他们达成了一致意见。

虽然闰秒似乎离我们略远,不过这些年来,它确实给计算机行业惹了不少麻烦。

“1秒钟”让计算机宕机

闰秒于1972年被引入,迄今为止已经增加了27个闰秒。

每一次增加闰秒,都会引起不少公司的计算机或是应用程序出现问题。

例如,在互联网发展得如火如荼的2012年,闰秒就带来了一波“潮水般”的影响。

闰秒在当年6月30号出现后,国外社区Reddit、浏览器Mozilla、领英和点评网站Yelp的服务器全部出现了问题,此外依赖计时器的机票预订服务Amadeus也发生了故障。

但闰秒造成的影响,并没有在这之后消失,毕竟总有新的bug出现(手动狗头)。

2017年,Cloudflare也遇上了闰秒故障,导致一众客户用不了相关服务。尽管程序员们已经提前写好应对程序,然而在实际运行时,还是出了问题。

所以,究竟应该如何消除闰秒带来的影响?

当前最常用的方法是“平摊法”。

以谷歌为例,程序员们会将多出来的一秒钟分割成很多个小时间段(如几分之一秒),然后,在不影响程序运行的情况下悄悄加入到时间中。

这样,当闰秒来临时,程序实际上已经平安无事地度过了这一秒钟。

对于Meta程序员来说,采取的也是相似的做法,把这个闰秒在时间表上悄无声息地“抹掉”。

但无论如何,只要下一个闰秒还会出现,大厂们就还得继续面临闰秒带来的影响,花费额外的精力去“消除”它。

包括谷歌、亚马逊、Meta和微软等大厂在内,都感觉闰秒的出现是利大于弊,Meta还专门写了篇文章,呼吁废除闰秒。

当然,想废除闰秒的也不止这几个大厂。

早在2015年的时候,国际电信联盟就在WRC上讨论过是否要保留闰秒的事情。

只是报告结果还没出来,预计会等到2023年。

对于废除闰秒这事儿,有网友调侃:

Meta的开发们实在太害怕闰秒了,他们觉得推动计时法改变是比修代码更简单的事情。

但此前也有网友提到,其实不止IT行业,工业上也会受到闰秒的影响。

你受到过闰秒带来的影响吗?

谷歌、Meta等四大科技巨头倡议废除闰秒2

在某些时候,如果你遭遇过网络中端或者服务中断,这可能是闰秒引起的。所谓闰秒,是指为了保持协调世界时接近于世界时时刻,由国际计量局统一规定在年底或年中(也可能在季末)对协调世界时增加或减少1秒的调整。

7月26日消息,谷歌、微软、Meta和亚马逊近日呼吁废除闰秒,美国和法国已对此表示赞同。谷歌等科技巨头抛弃闰秒的理由有很多,比如网络中断等。

这样的例子有很多。2012年,闰秒的变化引发Reddit的大规模停机,Mozilla、LinkedIn、Yelp和机票预订服务Amadeus也都遇到过类似问题。2017年,Cloudflare因此遭遇故障,导致客户一部分服务器离线。此外,在今年早些时候,当网络浏览器的版本号达到100时,一些网站因编程只处理两位数的版本号而发生堵塞。

Meta的研究科学家艾哈迈德·拜亚戈维(Ahmad Byagowi)称:“我们预测,如果我们只坚持使用‘国际原子时’,而不进行闰秒观测,那么我们应该至少可以坚持2000年。就此而言,我们可能需要考虑进行修正。”美国国家标准与技术研究所(NIST)和法国国际计量局(BIPM)也认为,是时候该要抛弃闰秒了。

据了解,自1972年以来,世界计时机构已经为被称为“国际原子时”(TAI)的全球时钟增加了27次闰秒。

谷歌、Meta等四大科技巨头倡议废除闰秒3

“闰秒”可能会被取消。

据科技新闻网站Cnet报道,7月25日,谷歌、微软、Meta和亚马逊四位科技巨头呼吁废除闰秒,美国国家标准与技术研究院( NIST ) 与国际计量局 ( BIPM )也投出了赞成票。

国际地球自转服务(IERS) 于1972年首次提出闰秒这一概念。当世界标准时间“协调世界时”与“世界时”之间的误差超过0.9秒时,国际计量局会统一规定在年底或年中将“协调世界时”拨快或拨慢1秒。

1972年以来,闰秒已经出现过27次,上一次是2017年1月1日7时59分60秒。当“正闰秒”发生时,一分钟将有61秒——23:59:59之后不是00:00:00,而是会多出另一个23:59:60。多出的'这一秒会导致计算机产生“错乱”,因为计算机依靠精准的计时服务器展开活动,记录向数据库更新等事情的准确顺序。

在过去,闰秒曾多次给网络平台造成故障。据科技媒体WIRED, 2012年,社交网站Reddit因为闰秒而遭遇一次大规模停机,用户在30到40分钟内无法访问此网站,工程师不得不重启服务器。据英国卫报,开源社区Mozilla、社交平台LinkedIn、美国商户点评网站Yelp和机票预订供应商Amadeus也都遇到过类似情况。

此外,2017年,美国云安全网络公司Cloudflare受闰秒影响,导致托管在该公司的部分网络资源暂时脱机。

针对闰秒问题,谷歌曾于2011年提出“闰秒弥补(leap smear)”方案——调整系统内部的网络时间协议(NTP)服务器,每次更新时增加几毫秒,弥补闰秒多出来的那一秒钟,以保证服务器能够正常运行。

但Meta工程博客页面上的公告中,Meta工程师Oleg Obleukhov和Ahmad Byagowi表示,这一方案只适用于解决“正闰秒”出现的情况,随着地球自转模式的改变,未来还可能出现“负闰秒”。不彻底解决这一问题,“将对依靠计时器或调度器的软件带来毁灭性的影响。”

上述工程师还表示,如果取消闰秒,不再继续调整时间,未来1000年内可能不会再出现类似问题。

如今,谷歌、微软、Meta和亚马逊共同呼吁取消闰秒,美国国家标准与技术研究院( NIST ) 及国际计量局 ( BIPM )也同意这一主张。

CNET称,政府机构的支持至关重要,归根结底负责全球时钟系统的是政府和科学家,而不是科技公司。

一,什么是mysql分表,分区

什么是分表,从表面意思上看呢,就是把一张表分成N多个小表,具体请看mysql分表的3种方法

什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上

一,先说一下为什么要分表

当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。

根据个人经验,mysql执行一个sql的过程如下:

1,接收到sql2,把sql放到排队队列中 3,执行sql4,返回执行结果。在这个执行过程中最花时间在什么地方呢?第一,是排队等待的时间,第二,sql的执行时间。其实这二个是一回事,等待的同时,肯定有sql在执行。所以我们要缩短sql的执行时间。

mysql中有一种机制是表锁定和行锁定,为什么要出现这种机制,是为了保证数据的完整性,我举个例子来说吧,如果有二个sql都要修改同一张表的同一条数据,这个时候怎么办呢,是不是二个sql都可以同时修改这条数据呢?很显然mysql对这种情况的处理是,一种是表锁定(myisam存储引擎),一个是行锁定(innodb存储引擎)。表锁定表示你们都不能对这张表进行 *** 作,必须等我对表 *** 作完才行。行锁定也一样,别的sql必须等我对这条数据 *** 作完了,才能对这条数据进行 *** 作。如果数据太多,一次执行的时间太长,等待的时间就越长,这也是我们为什么要分表的原因。

二,分表

1,做mysql集群,例如:利用mysql cluster ,mysql proxy,mysql replication,drdb等等

有人会问mysql集群,根分表有什么关系吗?虽然它不是实际意义上的分表,但是它启到了分表的作用,做集群的意义是什么呢?为一个数据库减轻负担,说白了就是减少sql排队队列中的sql的数量,举个例子:有10个sql请求,如果放在一个数据库服务器的排队队列中,他要等很长时间,如果把这10个sql请求,分配到5个数据库服务器的排队队列中,一个数据库服务器的队列中只有2个,这样等待时间是不是大大的缩短了呢?这已经很明显了。所以我把它列到了分表的范围以内,我做过一些mysql的集群:

linux mysql proxy 的安装,配置,以及读写分离

mysql replication 互为主从的安装及配置,以及数据同步

优点:扩展性好,没有多个分表后的复杂 *** 作(php代码)

缺点:单个表的数据量还是没有变,一次 *** 作所花的时间还是那么多,硬件开销大。

2,预先估计会出现大数据量并且访问频繁的表,将其分为若干个表

这种预估大差不差的,论坛里面发表帖子的表,时间长了这张表肯定很大,几十万,几百万都有可能。 聊天室里面信息表,几十个人在一起一聊一个晚上,时间长了,这张表的数据肯定很大。像这样的情况很多。所以这种能预估出来的大数据量表,我们就事先分出个N个表,这个N是多少,根据实际情况而定。以聊天信息表为例:

我事先建100个这样的表,message_00,message_01,message_02..........message_98,message_99.然后根据用户的ID来判断这个用户的聊天信息放到哪张表里面,你可以用hash的方式来获得,可以用求余的方式来获得,方法很多,各人想各人的吧。下面用hash的方法来获得表名:

查看复制打印?

<?php

function get_hash_table($table,$userid) {

$str = crc32($userid)

if($str<0){

$hash = "0".substr(abs($str), 0, 1)

}else{

$hash = substr($str, 0, 2)

}

return $table."_".$hash

}

echo get_hash_table('message','user18991')//结果为message_10

echo get_hash_table('message','user34523') //结果为message_13

?>

说明一下,上面的这个方法,告诉我们user18991这个用户的消息都记录在message_10这张表里,user34523这个用户的消息都记录在message_13这张表里,读取的时候,只要从各自的表中读取就行了。

优点:避免一张表出现几百万条数据,缩短了一条sql的执行时间

缺点:当一种规则确定时,打破这条规则会很麻烦,上面的例子中我用的hash算法是crc32,如果我现在不想用这个算法了,改用md5后,会使同一个用户的消息被存储到不同的表中,这样数据乱套了。扩展性很差。

3,利用merge存储引擎来实现分表

我觉得这种方法比较适合,那些没有事先考虑,而已经出现了得,数据查询慢的情况。这个时候如果要把已有的大数据量表分开比较痛苦,最痛苦的事就是改代码,因为程序里面的sql语句已经写好了,现在一张表要分成几十张表,甚至上百张表,这样sql语句是不是要重写呢?举个例子,我很喜欢举子

mysql>show engines的时候你会发现mrg_myisam其实就是merge。

查看复制打印?

mysql>CREATE TABLE IF NOT EXISTS `user1` (

-> `id` int(11) NOT NULL AUTO_INCREMENT,

-> `name` varchar(50) DEFAULT NULL,

-> `sex` int(1) NOT NULL DEFAULT '0',

-> PRIMARY KEY (`id`)

->) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1

Query OK, 0 rows affected (0.05 sec)

mysql>CREATE TABLE IF NOT EXISTS `user2` (

-> `id` int(11) NOT NULL AUTO_INCREMENT,

-> `name` varchar(50) DEFAULT NULL,

-> `sex` int(1) NOT NULL DEFAULT '0',

-> PRIMARY KEY (`id`)

->) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1

Query OK, 0 rows affected (0.01 sec)

mysql>INSERT INTO `user1` (`name`, `sex`) VALUES('张映', 0)

Query OK, 1 row affected (0.00 sec)

mysql>INSERT INTO `user2` (`name`, `sex`) VALUES('tank', 1)

Query OK, 1 row affected (0.00 sec)

mysql>CREATE TABLE IF NOT EXISTS `alluser` (

-> `id` int(11) NOT NULL AUTO_INCREMENT,

-> `name` varchar(50) DEFAULT NULL,

-> `sex` int(1) NOT NULL DEFAULT '0',

-> INDEX(id)

->) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1

Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql>select id,name,sex from alluser

+----+--------+-----+

| id | name | sex |

+----+--------+-----+

| 1 | 张映 | 0 |

| 1 | tank | 1 |

+----+--------+-----+

2 rows in set (0.00 sec)

mysql>INSERT INTO `alluser` (`name`, `sex`) VALUES('tank2', 0)

Query OK, 1 row affected (0.00 sec)

mysql>select id,name,sex from user2

->

+----+-------+-----+

| id | name | sex |

+----+-------+-----+

| 1 | tank | 1 |

| 2 | tank2 | 0 |

+----+-------+-----+

2 rows in set (0.00 sec)

从上面的 *** 作中,我不知道你有没有发现点什么?假如我有一张用户表user,有50W条数据,现在要拆成二张表user1和user2,每张表25W条数据,

INSERT INTO user1(user1.id,user1.name,user1.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id <= 250000

INSERT INTO user2(user2.id,user2.name,user2.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id >250000

这样我就成功的将一张user表,分成了二个表,这个时候有一个问题,代码中的sql语句怎么办,以前是一张表,现在变成二张表了,代码改动很大,这样给程序员带来了很大的工作量,有没有好的办法解决这一点呢?办法是把以前的user表备份一下,然后删除掉,上面的 *** 作中我建立了一个alluser表,只把这个alluser表的表名改成user就行了。但是,不是所有的mysql *** 作都能用的

a,如果你使用 alter table 来把 merge 表变为其它表类型,到底层表的映射就被丢失了。取而代之的,来自底层 myisam 表的行被复制到已更换的表中,该表随后被指定新类型。

b,网上看到一些说replace不起作用,我试了一下可以起作用的。晕一个先

mysql>UPDATE alluser SET sex=REPLACE(sex, 0, 1) where id=2

Query OK, 1 row affected (0.00 sec)

Rows matched: 1 Changed: 1 Warnings: 0

mysql>select * from alluser

+----+--------+-----+

| id | name | sex |

+----+--------+-----+

| 1 | 张映 | 0 |

| 1 | tank | 1 |

| 2 | tank2 | 1 |

+----+--------+-----+

3 rows in set (0.00 sec)

c,一个 merge 表不能在整个表上维持 unique 约束。当你执行一个 insert,数据进入第一个或者最后一个 myisam 表(取决于 insert_method 选项的值)。mysql 确保唯一键值在那个 myisam 表里保持唯一,但不是跨集合里所有的表。

d,当你创建一个 merge 表之时,没有检查去确保底层表的存在以及有相同的机构。当 merge 表被使用之时,mysql 检查每个被映射的表的记录长度是否相等,但这并不十分可靠。如果你从不相似的 myisam 表创建一个 merge 表,你非常有可能撞见奇怪的问题。

优点:扩展性好,并且程序代码改动的不是很大

缺点:这种方法的效果比第二种要差一点

三,总结一下

上面提到的三种方法,我实际做过二种,第一种和第二种。第三种没有做过,所以说的细一点。哈哈。做什么事都有一个度,超过个度就过变得很差,不能一味的做数据库服务器集群,硬件是要花钱买的,也不要一味的分表,分出来1000表,mysql的存储归根到底还以文件的形势存在硬盘上面,一张表对应三个文件,1000个分表就是对应3000个文件,这样检索起来也会变的很慢。我的建议是

方法1和方法2结合的方式来进行分表

方法1和方法3结合的方式来进行分表

我的二个建议适合不同的情况,根据个人情况而定,我觉得会有很多人选择方法1和方法3结合的方式

二,mysql分表和分区有什么区别呢

1,实现方式上

a),mysql的分表是真正的分表,一张表分成很多表后,每一个小表都是完正的一张表,都对应三个文件,一个.MYD数据文件,.MYI索引文件,.frm表结构文件。

[root@BlackGhost test]# ls |grep user

alluser.MRG

alluser.frm

user1.MYD

user1.MYI

user1.frm

user2.MYD

user2.MYI

user2.frm

Php代码

[root@BlackGhost test]# ls |grep user

alluser.MRG

alluser.frm

user1.MYD

user1.MYI

user1.frm

user2.MYD

user2.MYI

user2.frm

简单说明一下,上面的分表呢是利用了merge存储引擎(分表的一种),alluser是总表,下面有二个分表,user1,user2。他们二个都是独立的表,取数据的时候,我们可以通过总表来取。这里总表是没有.MYD,.MYI这二个文件的,也就是说,总表他不是一张表,没有数据,数据都放在分表里面。我们来看看.MRG到底是什么东西

[root@BlackGhost test]# cat alluser.MRG |more

user1

user2

#INSERT_METHOD=LAST

Php代码

[root@BlackGhost test]# cat alluser.MRG |more

user1

user2

#INSERT_METHOD=LAST

从上面我们可以看出,alluser.MRG里面就存了一些分表的关系,以及插入数据的方式。可以把总表理解成一个外壳,或者是联接池。

b),分区不一样,一张大表进行分区后,他还是一张表,不会变成二张表,但是他存放数据的区块变多了。

[root@BlackGhost test]# ls |grep aa

aa#P#p1.MYD

aa#P#p1.MYI

aa#P#p3.MYD

aa#P#p3.MYI

aa.frm

aa.par

Php代码

[root@BlackGhost test]# ls |grep aa

aa#P#p1.MYD

aa#P#p1.MYI

aa#P#p3.MYD

aa#P#p3.MYI

aa.frm

aa.par

从上面我们可以看出,aa这张表,分为二个区,p1和p3,本来是三个区,被我删了一个区。我们都知道一张表对应三个文件.MYD,.MYI,.frm。分区呢根据一定的规则把数据文件和索引文件进行了分割,还多出了一个.par文件,打开.par文件后你可以看出他记录了,这张表的分区信息,根分表中的.MRG有点像。分区后,还是一张,而不是多张表。

2,数据处理上

a),分表后,数据都是存放在分表里,总表只是一个外壳,存取数据发生在一个一个的分表里面。看下面的例子:

select * from alluser where id=’12′表面上看,是对表alluser进行 *** 作的,其实不是的。是对alluser里面的分表进行了 *** 作。

b),分区呢,不存在分表的概念,分区只不过把存放数据的文件分成了许多小块,分区后的表呢,还是一张表。数据处理还是由自己来完成。

3,提高性能上

a),分表后,单表的并发能力提高了,磁盘I/O性能也提高了。并发能力为什么提高了呢,因为查寻一次所花的时间变短了,如果出现高并发的话,总表可以根据不同的查询,将并发压力分到不同的小表里面。磁盘I/O性能怎么搞高了呢,本来一个非常大的.MYD文件现在也分摊到各个小表的.MYD中去了。

b),mysql提出了分区的概念,我觉得就想突破磁盘I/O瓶颈,想提高磁盘的读写能力,来增加mysql性能。

在这一点上,分区和分表的测重点不同,分表重点是存取数据时,如何提高mysql并发能力上;而分区呢,如何突破磁盘的读写能力,从而达到提高mysql性能的目的。

4),实现的难易度上

a),分表的方法有很多,用merge来分表,是最简单的一种方式。这种方式根分区难易度差不多,并且对程序代码来说可以做到透明的。如果是用其他分表方式就比分区麻烦了。

b),分区实现是比较简单的,建立分区表,根建平常的表没什么区别,并且对开代码端来说是透明的。

三,mysql分表和分区有什么联系呢

1,都能提高mysql的性高,在高并发状态下都有一个良好的表面。

2,分表和分区不矛盾,可以相互配合的,对于那些大访问量,并且表数据比较多的表,我们可以采取分表和分区结合的方式(如果merge这种分表方式,不能和分区配合的话,可以用其他的分表试),访问量不大,但是表数据很多的表,我们可以采取分区的方式等。


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9891885.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-03
下一篇2023-05-03

发表评论

登录后才能评论

评论列表(0条)

    保存