MySQL数据库表被锁、解锁,删除事务

MySQL数据库表被锁、解锁,删除事务,第1张

在程序员的职业生涯中,总会遇到数据库表被锁的情况,前些天就又撞见一次。由于业务突发需求,各个部门都在批量 *** 作、导出数据,而数据库又未做读写分离,结果就是:数据库的某张表被锁了!

用户反馈系统部分功能无法使用,紧急排查,定位是数据库表被锁,然后进行紧急处理。这篇文章给大家讲讲遇到类似紧急状况的排查及解决过程,建议点赞收藏,以备不时之需。

用户反馈某功能页面报502错误,于是第一时间看服务是否正常,数据库是否正常。在控制台看到数据库CPU飙升,堆积大量未提交事务,部分事务已经阻塞了很长时间,基本定位是数据库层出现问题了。

查看阻塞事务列表,发现其中有锁表现象,本想利用控制台直接结束掉阻塞的事务,但控制台账号权限有限,于是通过客户端登录对应账号将锁表事务kill掉,才避免了情况恶化。

下面就聊聊,如果当突然面对类似的情况,我们该如何紧急响应?

想象一个场景,当然也是软件工程师职业生涯中会遇到的一种场景:原本运行正常的程序,某一天突然数据库的表被锁了,业务无法正常运转,那么我们该如何快速定位是哪个事务锁了表,如何结束对应的事物?

首先最简单粗暴的方式就是:重启MySQL。对的,网管解决问题的神器——“重启”。至于后果如何,你能不能跑了,要你自己三思而后行了!

重启是可以解决表被锁的问题的,但针对线上业务很显然不太具有可行性。

下面来看看不用跑路的解决方案:

遇到数据库阻塞问题,首先要查询一下表是否在使用。

如果查询结果为空,那么说明表没在使用,说明不是锁表的问题。

如果查询结果不为空,比如出现如下结果:

则说明表(test)正在被使用,此时需要进一步排查。

查看数据库当前的进程,看看是否有慢SQL或被阻塞的线程。

执行命令:

该命令只显示当前用户正在运行的线程,当然,如果是root用户是能看到所有的。

在上述实践中,阿里云控制台之所以能够查看到所有的线程,猜测应该使用的就是root用户,而笔者去kill的时候,无法kill掉,是因为登录的用户非root的数据库账号,无法 *** 作另外一个用户的线程。

如果情况紧急,此步骤可以跳过,主要用来查看核对:

如果情况紧急,此步骤可以跳过,主要用来查看核对:

看事务表INNODB_TRX中是否有正在锁定的事务线程,看看ID是否在show processlist的sleep线程中。如果在,说明这个sleep的线程事务一直没有commit或者rollback,而是卡住了,需要手动kill掉。

搜索的结果中,如果在事务表发现了很多任务,最好都kill掉。

执行kill命令:

对应的线程都执行完kill命令之后,后续事务便可正常处理。

针对紧急情况,通常也会直接 *** 作第一、第二、第六步。

这里再补充一些MySQL锁相关的知识点:数据库锁设计的初衷是处理并发问题,作为多用户共享的资源,当出现并发访问的时候,数据库需要合理地控制资源的访问规则,而锁就是用来实现这些访问规则的重要数据结构。

根据加锁的范围,MySQL里面的锁大致可以分成全局锁、表级锁和行锁三类。MySQL中表级别的锁有两种:一种是表锁,一种是元数据锁(metadata lock,MDL)。

表锁是在Server层实现的,ALTER TABLE之类的语句会使用表锁,忽略存储引擎的锁机制。表锁通过lock tables… read/write来实现,而对于InnoDB来说,一般会采用行级锁。毕竟锁住整张表影响范围太大了。

另外一个表级锁是MDL(metadata lock),用于并发情况下维护数据的一致性,保证读写的正确性,不需要显式的使用,在访问一张表时会被自动加上。

常见的一种锁表场景就是有事务 *** 作处于:Waiting for table metadata lock状态。

MySQL在进行alter table等DDL *** 作时,有时会出现Waiting for table metadata lock的等待场景。

一旦alter table TableA的 *** 作停滞在Waiting for table metadata lock状态,后续对该表的任何 *** 作(包括读)都无法进行,因为它们也会在Opening tables的阶段进入到Waiting for table metadata lock的锁等待队列。如果核心表出现了锁等待队列,就会造成灾难性的后果。

通过show processlist可以看到表上有正在进行的 *** 作(包括读),此时alter table语句无法获取到metadata 独占锁,会进行等待。

通过show processlist看不到表上有任何 *** 作,但实际上存在有未提交的事务,可以在information_schema.innodb_trx中查看到。在事务没有完成之前,表上的锁不会释放,alter table同样获取不到metadata的独占锁。

处理方法:通过 select * from information_schema.innodb_trxG, 找到未提交事物的sid,然后kill掉,让其回滚。

通过show processlist看不到表上有任何 *** 作,在information_schema.innodb_trx中也没有任何进行中的事务。很可能是因为在一个显式的事务中,对表进行了一个失败的 *** 作(比如查询了一个不存在的字段),这时事务没有开始,但是失败语句获取到的锁依然有效,没有释放。从performance_schema.events_statements_current表中可以查到失败的语句。

处理方法:通过performance_schema.events_statements_current找到其sid,kill 掉该session,也可以kill掉DDL所在的session。

总之,alter table的语句是很危险的(核心是未提交事务或者长事务导致的),在 *** 作之前要确认对要 *** 作的表没有任何进行中的 *** 作、没有未提交事务、也没有显式事务中的报错语句。

如果有alter table的维护任务,在无人监管的时候运行,最好通过lock_wait_timeout设置好超时时间,避免长时间的metedata锁等待。

关于MySQL的锁表其实还有很多其他场景,我们在实践的过程中尽量避免锁表情况的发生,当然这需要一定经验的支撑。但更重要的是,如果发现锁表我们要能够快速的响应,快速的解决问题,避免影响正常业务,避免情况进一步恶化。所以,本文中的解决思路大家一定要收藏或记忆一下,做到有备无患,避免突然状况下抓瞎。

数据库

对于数据库能查询到的数据但是java里却显示null的问题

旧梦吖。  

原创

关注

1点赞·3212人阅读

问题:对于数据库能查询到的数据但是java里却显示null

解决方案:

        ① 很有可能是你设置的属性为 private ,然后没有给相对应的get和set方法 才导致无法获取对应的属性,然后显示为null

未修改前:

class Human{

private Integer id

public Human(Integer id) {

this.id = id

}

}

登录后复制

修改后:

class Human{

private Integer id

public Human(Integer id) {

this.id = id

}

public Integer getId() {

return id

}

public void setId(Integer id) {

this.id = id

}

}

登录后复制

        ② 可能是对应字段没有设置相对应,Bean对应类和数据库的对应类顺序名称类型要相一致,不得随意进行更改。

常见类型:

mysql                 ========              java

int                       ========            Ingeter

char,varchar      ========            String

仅供参考...

在方法中,使用了hana数据源从hana数据库中查出数据,然后将数据写到mysql数据库中,对数据库进行修改 *** 作时,我们一般会添加事务回滚的 *** 作,以便程序出错时可以还原数据库。

问题:

在方法中添加能使程序异常的代码(比如:int i = 1/0)进行测试,并在方法中贴上以下注解:

@Transactional(rollbackFor = Exception.class)

复制

但是发现事务并没有回滚

检查了项目的配置, 两个数据源配置了事务管理器:

hana数据源配置:

import javax.sql.DataSource

import com.baomidou.mybatisplus.spring.MybatisSqlSessionFactoryBean

import org.apache.ibatis.session.SqlSessionFactory

import org.mybatis.spring.SqlSessionTemplate

import org.mybatis.spring.annotation.MapperScan

import org.springframework.beans.factory.annotation.Qualifier

import org.springframework.boot.jdbc.DataSourceBuilder

import org.springframework.context.annotation.Bean

import org.springframework.context.annotation.Configuration

import org.springframework.context.annotation.Primary

import org.springframework.core.io.support.PathMatchingResourcePatternResolver

import org.springframework.jdbc.datasource.DataSourceTransactionManager

import top.ibase4j.core.Constants

import top.ibase4j.core.util.PropertiesUtil

import top.ibase4j.core.util.SecurityUtil

@Configuration

@MapperScan(basePackages = "com.xxx.mapper.hana",sqlSessionTemplateRef ="hanaSqlSessionTemplate")

public class HanaDataSourceConfig {

/**创建数据源*/

@Bean(name = "hanaDataSource")

@Primary

public DataSource gethanaDataSource() {

DataSource build = DataSourceBuilder.create()

.driverClassName(PropertiesUtil.getString("hana.driverClassName"))

.url(PropertiesUtil.getString("hana.url"))

.username(PropertiesUtil.getString("hana.username"))

.password(SecurityUtil.decryptDes(PropertiesUtil.getString("hana.password"), Constants.DB_KEY.getBytes()))

.build()

return build

}

@Bean(name = "hanaSqlSessionFactory")

@Primary

public SqlSessionFactory hanaSqlSessionFactory(@Qualifier("hanaDataSource") DataSource dataSource) throws Exception {

MybatisSqlSessionFactoryBean bean = new MybatisSqlSessionFactoryBean()

bean.setDataSource(dataSource)

//设置mapper配置文件

bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath:mapper/hana/*.xml"))

return bean.getObject()

}

/**创建事务管理器*/

@Bean("hanaTransactionManger")

@Primary

public DataSourceTransactionManager hanaTransactionManger(@Qualifier("hanaDataSource") DataSource dataSource){

return new DataSourceTransactionManager(dataSource)

}

/**创建SqlSessionTemplate*/

@Bean(name = "hanaSqlSessionTemplate")

@Primary

public SqlSessionTemplate hanaSqlSessionTemplate(@Qualifier("hanaSqlSessionFactory") SqlSessionFactory sqlSessionFactory){

return new SqlSessionTemplate(sqlSessionFactory)

}

}

复制

mysql数据源配置:

import com.baomidou.mybatisplus.spring.MybatisSqlSessionFactoryBean

import org.apache.ibatis.plugin.Interceptor

import org.apache.ibatis.session.SqlSessionFactory

import org.mybatis.spring.SqlSessionTemplate

import org.mybatis.spring.annotation.MapperScan

import org.springframework.beans.factory.annotation.Qualifier

import org.springframework.boot.jdbc.DataSourceBuilder

import org.springframework.context.annotation.Bean

import org.springframework.context.annotation.Configuration

import org.springframework.context.annotation.EnableAspectJAutoProxy

import org.springframework.core.io.support.PathMatchingResourcePatternResolver

import org.springframework.jdbc.datasource.DataSourceTransactionManager

import org.springframework.transaction.annotation.EnableTransactionManagement

import top.ibase4j.core.util.PropertiesUtil

import javax.annotation.Resource

import javax.sql.DataSource

@Configuration

@MapperScan(basePackages = "com.xxx.mapper.mysql",sqlSessionTemplateRef ="mysqlSqlSessionTemplate")

public class MysqlDataSourceConfig {

@Resource

private MybatisPlusConfig mybatisPlusConfig

/**创建数据源*/

@Bean(name = "mysqlDataSource")

public DataSource getmysqlDataSource() {

DataSource build = DataSourceBuilder.create()

.driverClassName(PropertiesUtil.getString("druid.default.driverClassName"))

.url(PropertiesUtil.getString("druid.writer.default.url"))

.username(PropertiesUtil.getString("druid.writer.default.username"))

.password(PropertiesUtil.getString("druid.writer.default.password"))

.build()

return build

}

@Bean(name = "mysqlSqlSessionFactory")

public SqlSessionFactory mysqlSqlSessionFactory(@Qualifier("mysqlDataSource") DataSource dataSource) throws Exception {

MybatisSqlSessionFactoryBean bean = new MybatisSqlSessionFactoryBean()

bean.setDataSource(dataSource)

//设置mapper配置文件

bean.setMapperLocations(new PathMatchingResourcePatternResolver().getResources("classpath:mapper/mysql/*.xml"))

Interceptor[] interceptors = {

mybatisPlusConfig.paginationInterceptor(),

mybatisPlusConfig.performanceSonInterceptor()

}

bean.setPlugins(interceptors)

return bean.getObject()

}

/**创建事务管理器*/

@Bean("mysqlTransactionManger")

public DataSourceTransactionManager mysqlTransactionManger(@Qualifier("mysqlDataSource") DataSource dataSource){

return new DataSourceTransactionManager(dataSource)

}

/**创建SqlSessionTemplate*/

@Bean(name = "mysqlSqlSessionTemplate")

public SqlSessionTemplate mysqlSqlSessionTemplate(@Qualifier("mysqlSqlSessionFactory") SqlSessionFactory sqlSessionFactory){

return new SqlSessionTemplate(sqlSessionFactory)

}

}

复制

由于默认的数据源是hana数据源,但是现在我们要将mysql的事务进行回滚,如果不将默认的事务管理器设置mysql对应的事务管理器为默认的话, 事务回滚将不起作用。

因此,可以添加配置类,以配置默认的事务管理器为mysql的,配置类要实现TransactionManagementConfigurer

/**

*

* 将mysql数据源的事务管理器设置为默认的事务

*/

@Configuration

public class SpecifyDefaultTransactionManagerConfig implements TransactionManagementConfigurer {

@Autowired

private MysqlDataSourceConfig mysqlDataSourceConfig

@Override

public PlatformTransactionManager annotationDrivenTransactionManager() {

return mysqlDataSourceConfig.mysqlTransactionManger(mysqlDataSourceConfig.getmysqlDataSource())

}

复制

再次进行测试,事务将回滚成功

如果不想添加配置类,可以在注解中标明使用的是哪个事务管理器

这里我们要用的是mysql的,因此可以这样配置

@Transactional(value = "mysqlTransactionManger",rollbackFor = Exception.class)

复制

value的值就是事务管理器bean的名称

spring boot

三星电视

精选推荐

广告

springboot多数据源即分布式事务解决方案

79下载·0评论

2018年10月16日

SSM多数据源配置事务回滚处理

2777阅读·0评论·1点赞

2019年1月15日

MySQL 多库事务回滚

284阅读·0评论·0点赞

2022年10月23日

Spring Boot多数据源(支持Spring声明式事务切换和回滚).pdf

10下载·0评论

2021年7月21日

Spring 事务

165阅读·0评论·0点赞

2020年4月14日

java多数据源回滚_Spring多数据源事务

1053阅读·0评论·0点赞

2021年3月10日

Springboot多数据源 解决事务回滚失效

3004阅读·6评论·2点赞

2021年8月6日

springboot 多数据源 添加事务,事务回滚

1125阅读·4评论·0点赞

2021年12月1日

dynamic-datasource多数据源的配置使用(读写分离、事务的回滚)

4146阅读·3评论·4点赞

2022年1月26日

Spring Boot项目多数据源事务不生效的问题

2641阅读·0评论·8点赞

2021年10月15日

Springboot集成SpringJDBC多数据源事务回滚(二)


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9802403.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-02
下一篇2023-05-02

发表评论

登录后才能评论

评论列表(0条)

    保存