
容许有1秒钟的差值,有如下建议:
对于使用ntpd服务进行时间同步的RHEL,至少提前1天停止ntpd服务。并确保每台
机器上安装的tzdata的版本低于2011n-2(不 包含该版本)。
对于不使用ntpd服务进行时间同步的RHEL,确保每台机器上安装的tzdata的版本低
于2011n-2(不包含该版本)。
从而使系统不进行闰秒调整,待该事件完成之后,再可启动ntpd服务进行同步,或
者手动修改时间为正确时间。 www.2cto.com
提示:对于内部的以RHEL作为NTP服务器的系统,它是NTP服务器的同时,也是使用
ntpd服务与更上层NTP服务器进行时间同步的客户端, 故上述方法也适用于该系统。
b. 若由于其他原因实在无法进行内核升级,但应用对时间的敏感度非常高,不容
许有1秒钟的差值,则有可能发生kernel hang住的问题,尽管这个可能性是非常小的。
如果发生问题,可考虑重启该系统恢复。
根据这个情况,相应的解决方法如下:
如相关设备是使用Linux kernel 为2.6.18-164.e15以前的Linux系统,请做如下预防工作:
1、2012年6月28日当天(北京时间23点以前)先确认ntp服务已同步,然而关闭ntpd服务。
2、2012年7月2日(北京时间8点以后)当天开启ntpd服务,并确认ntp服务已同步。
对照上面的解决方法,检测所有服务器(100多台,累死了),发现rhel5.4服务器的内核都为2.6.18-164.e15,但都没有开启ntp服务,而所有的SUSE Linux Enterprise Server 10 的linux系统里内核都是2.6.16.60-0.54.5-smp,就1台数据库服务器启动了ntp服务,下面演示是如何的解决这个问题方法:
1、先查看服务器是否有开启ntp服务,可以使用以下命令查询:
netstat -aunl|grep123 #由于123是ntp启动的端口,所有可以使用netstat来查看ntp的123端口,查看ntp服务是否启动;
ps -ef|grep ntp #查看ntp服务的进程是否在后台运行;
service ntp status #使用service来查看ntp服务的启动状态
下面是使用这3中方法进行的检测结果
www.2cto.com
可以看得我的服务器里ntp服务正在运行
关闭是方法如下:
直接杀掉ntp的进程,命令为:kill -9 $(ps -ef|grep ntp|grep -v grep|awk '{print $2}');
使用service来关闭ntp,命令为:service ntp stop;
关闭后为了保证安全,还需要把ntp开机自动启动给关闭,命令为:chk
谷歌、Meta等四大科技巨头倡议废除闰秒
谷歌、Meta等四大科技巨头倡议废除闰秒,谷歌、微软、Meta和亚马逊近日呼吁废除闰秒,美国和法国已对此表示赞同。谷歌、Meta等四大科技巨头倡议废除闰秒。
谷歌、Meta等四大科技巨头倡议废除闰秒1大厂们再也无法忍受闰秒带来的一堆bug了。
现在,谷歌Meta微软亚马逊等一众科技巨头发起了一项倡议:废除闰秒!
闰秒这玩意,说白了就是通过给“世界标准时间”加(或减)1秒,让它更接近“太阳时”。
“世界标准时间”(UTC)与原子钟测量的精确时间同步,“太阳时”根据地球自转测量得出,但地球自转并不稳定。
例如,两者相差超过0.9秒时,就在23点59分59秒与00点00分00秒之间,插入一个原本不存在的“23点59分60秒”,来将时间调慢一秒钟。
然鹅,就是这个看似有点用的闰秒,把一众程序员愁坏了。
凭空少一秒、或冒出一个“第60秒”,就得出动一众人调整时间(如暂时关闭NTP等)、修改程序,尽可能降低闰秒带来的影响。对此Meta表示:
闰秒造成的破坏,比它带来的用处大多了。
这群大厂还找来了两家权威机构,即美国国家标准与技术研究院(NIST)和国际计量局(BIPM),与他们达成了一致意见。
虽然闰秒似乎离我们略远,不过这些年来,它确实给计算机行业惹了不少麻烦。
“1秒钟”让计算机宕机
闰秒于1972年被引入,迄今为止已经增加了27个闰秒。
每一次增加闰秒,都会引起不少公司的计算机或是应用程序出现问题。
例如,在互联网发展得如火如荼的2012年,闰秒就带来了一波“潮水般”的影响。
闰秒在当年6月30号出现后,国外社区Reddit、浏览器Mozilla、领英和点评网站Yelp的服务器全部出现了问题,此外依赖计时器的机票预订服务Amadeus也发生了故障。
但闰秒造成的影响,并没有在这之后消失,毕竟总有新的bug出现(手动狗头)。
2017年,Cloudflare也遇上了闰秒故障,导致一众客户用不了相关服务。尽管程序员们已经提前写好应对程序,然而在实际运行时,还是出了问题。
所以,究竟应该如何消除闰秒带来的影响?
当前最常用的方法是“平摊法”。
以谷歌为例,程序员们会将多出来的一秒钟分割成很多个小时间段(如几分之一秒),然后,在不影响程序运行的情况下悄悄加入到时间中。
这样,当闰秒来临时,程序实际上已经平安无事地度过了这一秒钟。
对于Meta程序员来说,采取的也是相似的做法,把这个闰秒在时间表上悄无声息地“抹掉”。
但无论如何,只要下一个闰秒还会出现,大厂们就还得继续面临闰秒带来的影响,花费额外的精力去“消除”它。
包括谷歌、亚马逊、Meta和微软等大厂在内,都感觉闰秒的出现是利大于弊,Meta还专门写了篇文章,呼吁废除闰秒。
当然,想废除闰秒的也不止这几个大厂。
早在2015年的时候,国际电信联盟就在WRC上讨论过是否要保留闰秒的事情。
只是报告结果还没出来,预计会等到2023年。
对于废除闰秒这事儿,有网友调侃:
Meta的开发们实在太害怕闰秒了,他们觉得推动计时法改变是比修代码更简单的事情。
但此前也有网友提到,其实不止IT行业,工业上也会受到闰秒的影响。
你受到过闰秒带来的影响吗?
谷歌、Meta等四大科技巨头倡议废除闰秒2在某些时候,如果你遭遇过网络中端或者服务中断,这可能是闰秒引起的。所谓闰秒,是指为了保持协调世界时接近于世界时时刻,由国际计量局统一规定在年底或年中(也可能在季末)对协调世界时增加或减少1秒的调整。
7月26日消息,谷歌、微软、Meta和亚马逊近日呼吁废除闰秒,美国和法国已对此表示赞同。谷歌等科技巨头抛弃闰秒的理由有很多,比如网络中断等。
这样的例子有很多。2012年,闰秒的变化引发Reddit的大规模停机,Mozilla、LinkedIn、Yelp和机票预订服务Amadeus也都遇到过类似问题。2017年,Cloudflare因此遭遇故障,导致客户一部分服务器离线。此外,在今年早些时候,当网络浏览器的版本号达到100时,一些网站因编程只处理两位数的版本号而发生堵塞。
Meta的研究科学家艾哈迈德·拜亚戈维(Ahmad Byagowi)称:“我们预测,如果我们只坚持使用‘国际原子时’,而不进行闰秒观测,那么我们应该至少可以坚持2000年。就此而言,我们可能需要考虑进行修正。”美国国家标准与技术研究所(NIST)和法国国际计量局(BIPM)也认为,是时候该要抛弃闰秒了。
据了解,自1972年以来,世界计时机构已经为被称为“国际原子时”(TAI)的全球时钟增加了27次闰秒。
谷歌、Meta等四大科技巨头倡议废除闰秒3“闰秒”可能会被取消。
据科技新闻网站Cnet报道,7月25日,谷歌、微软、Meta和亚马逊四位科技巨头呼吁废除闰秒,美国国家标准与技术研究院( NIST ) 与国际计量局 ( BIPM )也投出了赞成票。
国际地球自转服务(IERS) 于1972年首次提出闰秒这一概念。当世界标准时间“协调世界时”与“世界时”之间的误差超过0.9秒时,国际计量局会统一规定在年底或年中将“协调世界时”拨快或拨慢1秒。
1972年以来,闰秒已经出现过27次,上一次是2017年1月1日7时59分60秒。当“正闰秒”发生时,一分钟将有61秒——23:59:59之后不是00:00:00,而是会多出另一个23:59:60。多出的'这一秒会导致计算机产生“错乱”,因为计算机依靠精准的计时服务器展开活动,记录向数据库更新等事情的准确顺序。
在过去,闰秒曾多次给网络平台造成故障。据科技媒体WIRED, 2012年,社交网站Reddit因为闰秒而遭遇一次大规模停机,用户在30到40分钟内无法访问此网站,工程师不得不重启服务器。据英国卫报,开源社区Mozilla、社交平台LinkedIn、美国商户点评网站Yelp和机票预订供应商Amadeus也都遇到过类似情况。
此外,2017年,美国云安全网络公司Cloudflare受闰秒影响,导致托管在该公司的部分网络资源暂时脱机。
针对闰秒问题,谷歌曾于2011年提出“闰秒弥补(leap smear)”方案——调整系统内部的网络时间协议(NTP)服务器,每次更新时增加几毫秒,弥补闰秒多出来的那一秒钟,以保证服务器能够正常运行。
但Meta工程博客页面上的公告中,Meta工程师Oleg Obleukhov和Ahmad Byagowi表示,这一方案只适用于解决“正闰秒”出现的情况,随着地球自转模式的改变,未来还可能出现“负闰秒”。不彻底解决这一问题,“将对依靠计时器或调度器的软件带来毁灭性的影响。”
上述工程师还表示,如果取消闰秒,不再继续调整时间,未来1000年内可能不会再出现类似问题。
如今,谷歌、微软、Meta和亚马逊共同呼吁取消闰秒,美国国家标准与技术研究院( NIST ) 及国际计量局 ( BIPM )也同意这一主张。
CNET称,政府机构的支持至关重要,归根结底负责全球时钟系统的是政府和科学家,而不是科技公司。
一,什么是mysql分表,分区什么是分表,从表面意思上看呢,就是把一张表分成N多个小表,具体请看mysql分表的3种方法
什么是分区,分区呢就是把一张表的数据分成N多个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上
一,先说一下为什么要分表
当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。
根据个人经验,mysql执行一个sql的过程如下:
1,接收到sql2,把sql放到排队队列中 3,执行sql4,返回执行结果。在这个执行过程中最花时间在什么地方呢?第一,是排队等待的时间,第二,sql的执行时间。其实这二个是一回事,等待的同时,肯定有sql在执行。所以我们要缩短sql的执行时间。
mysql中有一种机制是表锁定和行锁定,为什么要出现这种机制,是为了保证数据的完整性,我举个例子来说吧,如果有二个sql都要修改同一张表的同一条数据,这个时候怎么办呢,是不是二个sql都可以同时修改这条数据呢?很显然mysql对这种情况的处理是,一种是表锁定(myisam存储引擎),一个是行锁定(innodb存储引擎)。表锁定表示你们都不能对这张表进行 *** 作,必须等我对表 *** 作完才行。行锁定也一样,别的sql必须等我对这条数据 *** 作完了,才能对这条数据进行 *** 作。如果数据太多,一次执行的时间太长,等待的时间就越长,这也是我们为什么要分表的原因。
二,分表
1,做mysql集群,例如:利用mysql cluster ,mysql proxy,mysql replication,drdb等等
有人会问mysql集群,根分表有什么关系吗?虽然它不是实际意义上的分表,但是它启到了分表的作用,做集群的意义是什么呢?为一个数据库减轻负担,说白了就是减少sql排队队列中的sql的数量,举个例子:有10个sql请求,如果放在一个数据库服务器的排队队列中,他要等很长时间,如果把这10个sql请求,分配到5个数据库服务器的排队队列中,一个数据库服务器的队列中只有2个,这样等待时间是不是大大的缩短了呢?这已经很明显了。所以我把它列到了分表的范围以内,我做过一些mysql的集群:
linux mysql proxy 的安装,配置,以及读写分离
mysql replication 互为主从的安装及配置,以及数据同步
优点:扩展性好,没有多个分表后的复杂 *** 作(php代码)
缺点:单个表的数据量还是没有变,一次 *** 作所花的时间还是那么多,硬件开销大。
2,预先估计会出现大数据量并且访问频繁的表,将其分为若干个表
这种预估大差不差的,论坛里面发表帖子的表,时间长了这张表肯定很大,几十万,几百万都有可能。 聊天室里面信息表,几十个人在一起一聊一个晚上,时间长了,这张表的数据肯定很大。像这样的情况很多。所以这种能预估出来的大数据量表,我们就事先分出个N个表,这个N是多少,根据实际情况而定。以聊天信息表为例:
我事先建100个这样的表,message_00,message_01,message_02..........message_98,message_99.然后根据用户的ID来判断这个用户的聊天信息放到哪张表里面,你可以用hash的方式来获得,可以用求余的方式来获得,方法很多,各人想各人的吧。下面用hash的方法来获得表名:
查看复制打印?
<?php
function get_hash_table($table,$userid) {
$str = crc32($userid)
if($str<0){
$hash = "0".substr(abs($str), 0, 1)
}else{
$hash = substr($str, 0, 2)
}
return $table."_".$hash
}
echo get_hash_table('message','user18991')//结果为message_10
echo get_hash_table('message','user34523') //结果为message_13
?>
说明一下,上面的这个方法,告诉我们user18991这个用户的消息都记录在message_10这张表里,user34523这个用户的消息都记录在message_13这张表里,读取的时候,只要从各自的表中读取就行了。
优点:避免一张表出现几百万条数据,缩短了一条sql的执行时间
缺点:当一种规则确定时,打破这条规则会很麻烦,上面的例子中我用的hash算法是crc32,如果我现在不想用这个算法了,改用md5后,会使同一个用户的消息被存储到不同的表中,这样数据乱套了。扩展性很差。
3,利用merge存储引擎来实现分表
我觉得这种方法比较适合,那些没有事先考虑,而已经出现了得,数据查询慢的情况。这个时候如果要把已有的大数据量表分开比较痛苦,最痛苦的事就是改代码,因为程序里面的sql语句已经写好了,现在一张表要分成几十张表,甚至上百张表,这样sql语句是不是要重写呢?举个例子,我很喜欢举子
mysql>show engines的时候你会发现mrg_myisam其实就是merge。
查看复制打印?
mysql>CREATE TABLE IF NOT EXISTS `user1` (
-> `id` int(11) NOT NULL AUTO_INCREMENT,
-> `name` varchar(50) DEFAULT NULL,
-> `sex` int(1) NOT NULL DEFAULT '0',
-> PRIMARY KEY (`id`)
->) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1
Query OK, 0 rows affected (0.05 sec)
mysql>CREATE TABLE IF NOT EXISTS `user2` (
-> `id` int(11) NOT NULL AUTO_INCREMENT,
-> `name` varchar(50) DEFAULT NULL,
-> `sex` int(1) NOT NULL DEFAULT '0',
-> PRIMARY KEY (`id`)
->) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1
Query OK, 0 rows affected (0.01 sec)
mysql>INSERT INTO `user1` (`name`, `sex`) VALUES('张映', 0)
Query OK, 1 row affected (0.00 sec)
mysql>INSERT INTO `user2` (`name`, `sex`) VALUES('tank', 1)
Query OK, 1 row affected (0.00 sec)
mysql>CREATE TABLE IF NOT EXISTS `alluser` (
-> `id` int(11) NOT NULL AUTO_INCREMENT,
-> `name` varchar(50) DEFAULT NULL,
-> `sex` int(1) NOT NULL DEFAULT '0',
-> INDEX(id)
->) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql>select id,name,sex from alluser
+----+--------+-----+
| id | name | sex |
+----+--------+-----+
| 1 | 张映 | 0 |
| 1 | tank | 1 |
+----+--------+-----+
2 rows in set (0.00 sec)
mysql>INSERT INTO `alluser` (`name`, `sex`) VALUES('tank2', 0)
Query OK, 1 row affected (0.00 sec)
mysql>select id,name,sex from user2
->
+----+-------+-----+
| id | name | sex |
+----+-------+-----+
| 1 | tank | 1 |
| 2 | tank2 | 0 |
+----+-------+-----+
2 rows in set (0.00 sec)
从上面的 *** 作中,我不知道你有没有发现点什么?假如我有一张用户表user,有50W条数据,现在要拆成二张表user1和user2,每张表25W条数据,
INSERT INTO user1(user1.id,user1.name,user1.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id <= 250000
INSERT INTO user2(user2.id,user2.name,user2.sex)SELECT (user.id,user.name,user.sex)FROM user where user.id >250000
这样我就成功的将一张user表,分成了二个表,这个时候有一个问题,代码中的sql语句怎么办,以前是一张表,现在变成二张表了,代码改动很大,这样给程序员带来了很大的工作量,有没有好的办法解决这一点呢?办法是把以前的user表备份一下,然后删除掉,上面的 *** 作中我建立了一个alluser表,只把这个alluser表的表名改成user就行了。但是,不是所有的mysql *** 作都能用的
a,如果你使用 alter table 来把 merge 表变为其它表类型,到底层表的映射就被丢失了。取而代之的,来自底层 myisam 表的行被复制到已更换的表中,该表随后被指定新类型。
b,网上看到一些说replace不起作用,我试了一下可以起作用的。晕一个先
mysql>UPDATE alluser SET sex=REPLACE(sex, 0, 1) where id=2
Query OK, 1 row affected (0.00 sec)
Rows matched: 1 Changed: 1 Warnings: 0
mysql>select * from alluser
+----+--------+-----+
| id | name | sex |
+----+--------+-----+
| 1 | 张映 | 0 |
| 1 | tank | 1 |
| 2 | tank2 | 1 |
+----+--------+-----+
3 rows in set (0.00 sec)
c,一个 merge 表不能在整个表上维持 unique 约束。当你执行一个 insert,数据进入第一个或者最后一个 myisam 表(取决于 insert_method 选项的值)。mysql 确保唯一键值在那个 myisam 表里保持唯一,但不是跨集合里所有的表。
d,当你创建一个 merge 表之时,没有检查去确保底层表的存在以及有相同的机构。当 merge 表被使用之时,mysql 检查每个被映射的表的记录长度是否相等,但这并不十分可靠。如果你从不相似的 myisam 表创建一个 merge 表,你非常有可能撞见奇怪的问题。
优点:扩展性好,并且程序代码改动的不是很大
缺点:这种方法的效果比第二种要差一点
三,总结一下
上面提到的三种方法,我实际做过二种,第一种和第二种。第三种没有做过,所以说的细一点。哈哈。做什么事都有一个度,超过个度就过变得很差,不能一味的做数据库服务器集群,硬件是要花钱买的,也不要一味的分表,分出来1000表,mysql的存储归根到底还以文件的形势存在硬盘上面,一张表对应三个文件,1000个分表就是对应3000个文件,这样检索起来也会变的很慢。我的建议是
方法1和方法2结合的方式来进行分表
方法1和方法3结合的方式来进行分表
我的二个建议适合不同的情况,根据个人情况而定,我觉得会有很多人选择方法1和方法3结合的方式
二,mysql分表和分区有什么区别呢
1,实现方式上
a),mysql的分表是真正的分表,一张表分成很多表后,每一个小表都是完正的一张表,都对应三个文件,一个.MYD数据文件,.MYI索引文件,.frm表结构文件。
[root@BlackGhost test]# ls |grep user
alluser.MRG
alluser.frm
user1.MYD
user1.MYI
user1.frm
user2.MYD
user2.MYI
user2.frm
Php代码
[root@BlackGhost test]# ls |grep user
alluser.MRG
alluser.frm
user1.MYD
user1.MYI
user1.frm
user2.MYD
user2.MYI
user2.frm
简单说明一下,上面的分表呢是利用了merge存储引擎(分表的一种),alluser是总表,下面有二个分表,user1,user2。他们二个都是独立的表,取数据的时候,我们可以通过总表来取。这里总表是没有.MYD,.MYI这二个文件的,也就是说,总表他不是一张表,没有数据,数据都放在分表里面。我们来看看.MRG到底是什么东西
[root@BlackGhost test]# cat alluser.MRG |more
user1
user2
#INSERT_METHOD=LAST
Php代码
[root@BlackGhost test]# cat alluser.MRG |more
user1
user2
#INSERT_METHOD=LAST
从上面我们可以看出,alluser.MRG里面就存了一些分表的关系,以及插入数据的方式。可以把总表理解成一个外壳,或者是联接池。
b),分区不一样,一张大表进行分区后,他还是一张表,不会变成二张表,但是他存放数据的区块变多了。
[root@BlackGhost test]# ls |grep aa
aa#P#p1.MYD
aa#P#p1.MYI
aa#P#p3.MYD
aa#P#p3.MYI
aa.frm
aa.par
Php代码
[root@BlackGhost test]# ls |grep aa
aa#P#p1.MYD
aa#P#p1.MYI
aa#P#p3.MYD
aa#P#p3.MYI
aa.frm
aa.par
从上面我们可以看出,aa这张表,分为二个区,p1和p3,本来是三个区,被我删了一个区。我们都知道一张表对应三个文件.MYD,.MYI,.frm。分区呢根据一定的规则把数据文件和索引文件进行了分割,还多出了一个.par文件,打开.par文件后你可以看出他记录了,这张表的分区信息,根分表中的.MRG有点像。分区后,还是一张,而不是多张表。
2,数据处理上
a),分表后,数据都是存放在分表里,总表只是一个外壳,存取数据发生在一个一个的分表里面。看下面的例子:
select * from alluser where id=’12′表面上看,是对表alluser进行 *** 作的,其实不是的。是对alluser里面的分表进行了 *** 作。
b),分区呢,不存在分表的概念,分区只不过把存放数据的文件分成了许多小块,分区后的表呢,还是一张表。数据处理还是由自己来完成。
3,提高性能上
a),分表后,单表的并发能力提高了,磁盘I/O性能也提高了。并发能力为什么提高了呢,因为查寻一次所花的时间变短了,如果出现高并发的话,总表可以根据不同的查询,将并发压力分到不同的小表里面。磁盘I/O性能怎么搞高了呢,本来一个非常大的.MYD文件现在也分摊到各个小表的.MYD中去了。
b),mysql提出了分区的概念,我觉得就想突破磁盘I/O瓶颈,想提高磁盘的读写能力,来增加mysql性能。
在这一点上,分区和分表的测重点不同,分表重点是存取数据时,如何提高mysql并发能力上;而分区呢,如何突破磁盘的读写能力,从而达到提高mysql性能的目的。
4),实现的难易度上
a),分表的方法有很多,用merge来分表,是最简单的一种方式。这种方式根分区难易度差不多,并且对程序代码来说可以做到透明的。如果是用其他分表方式就比分区麻烦了。
b),分区实现是比较简单的,建立分区表,根建平常的表没什么区别,并且对开代码端来说是透明的。
三,mysql分表和分区有什么联系呢
1,都能提高mysql的性高,在高并发状态下都有一个良好的表面。
2,分表和分区不矛盾,可以相互配合的,对于那些大访问量,并且表数据比较多的表,我们可以采取分表和分区结合的方式(如果merge这种分表方式,不能和分区配合的话,可以用其他的分表试),访问量不大,但是表数据很多的表,我们可以采取分区的方式等。
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)