数据库架构选型与落地，看这篇就够了

随着时间和业务的发展，数据库中的数据量增长是不可控的，库和表中的数据会越来越大，随之带来的是更高的 磁盘 、 IO 、 系统开销 ，甚至 性能 上的瓶颈，而单台服务器的 资源终究是有限 的。

因此在面对业务扩张过程中，应用程序对数据库系统的 健壮性 ， 安全性 ， 扩展性 提出了更高的要求。

以下，我从数据库架构、选型与落地来让大家入门。

数据库会面临什么样的挑战呢？

业务刚开始我们只用单机数据库就够了，但随着业务增长，数据规模和用户规模上升，这个时候数据库会面临IO瓶颈、存储瓶颈、可用性、安全性问题。

为了解决上述的各种问题，数据库衍生了出不同的架构来解决不同的场景需求。

将数据库的写 *** 作和读 *** 作分离，主库接收写请求，使用多个从库副本负责读请求，从库和主库同步更新数据保持数据一致性，从库可以水平扩展，用于面对读请求的增加。

这个模式也就是常说的读写分离，针对的是小规模数据，而且存在大量读 *** 作的场景。

因为主从的数据是相同的，一旦主库宕机的时候，从库可以 切换为主库提供写入 ，所以这个架构也可以提高数据库系统的 安全性 和 可用性 ；

优点：

缺点：

在数据库遇到 IO瓶颈 过程中，如果IO集中在某一块的业务中，这个时候可以考虑的就是垂直分库，将热点业务拆分出去，避免由 热点业务 的 密集IO请求 影响了其他正常业务，所以垂直分库也叫 业务分库 。

优点：

缺点：

在数据库遇到存储瓶颈的时候，由于数据量过大造成索引性能下降。

这个时候可以考虑将数据做水平拆分，针对数据量巨大的单张表，按照某种规则，切分到多张表里面去。

但是这些表还是在同一个库中，所以库级别的数据库 *** 作还是有IO瓶颈（单个服务器的IO有上限）。

所以水平分表主要还是针对 数据量较大 ，整体业务 请求量较低 的场景。

优点：

缺点：

四、分库分表

在数据库遇到存储瓶颈和IO瓶颈的时候，数据量过大造成索引性能下降，加上同一时间需要处理大规模的业务请求，这个时候单库的IO上限会限制处理效率。

所以需要将单张表的数据切分到多个服务器上去，每个服务器具有相应的库与表，只是表中数据集合不同。

分库分表能够有效地缓解单机和单库的 性能瓶颈和压力 ，突破IO、连接数、硬件资源等的瓶颈。

优点：

缺点：

注：分库还是分表核心关键是有没有IO瓶颈 。

分片方式都有什么呢？

RANGE（范围分片）

将业务表中的某个 关键字段排序 后，按照顺序从0到10000一个表，10001到20000一个表。最常见的就是 按照时间切分 （月表、年表）。

比如将6个月前，甚至一年前的数据切出去放到另外的一张表，因为随着时间流逝，这些表的数据被查询的概率变小，银行的交易记录多数是采用这种方式。

优点：

缺点：

HASH（哈希分片）

将订单作为主表，然后将其相关的业务表作为附表，取用户id然后 hash取模 ，分配到不同的数据表或者数据库上。

优点：

缺点：

讲到这里，我们已经知道数据库有哪些架构，解决的是哪些问题，因此， 我们在日常设计中需要根据数据的特点，数据的倾向性，数据的安全性等来选择不同的架构 。

那么，我们应该如何选择数据库架构呢？

虽然把上面的架构全部组合在一起可以形成一个强大的高可用，高负载的数据库系统，但是架构选择合适才是最重要的。

混合架构虽然能够解决所有的场景的问题，但是也会面临更多的挑战，你以为的完美架构，背后其实有着更多的坑。

1、对事务支持

分库分表后（无论是垂直还是水平拆分），就成了分布式事务了，如果依赖数据库本身的分布式事务管理功能去执行事务，将付出高昂的性能代价（XA事务）；如果由应用程序去协助控制，形成程序逻辑上的事务，又会造成编程方面的负担（TCC、SAGA）。

2、多库结果集合并 （group by，order by）

由于数据分布于不同的数据库中，无法直接对其做分页、分组、排序等 *** 作，一般应对这种多库结果集合并的查询业务都需要采用数据清洗、同步等其他手段处理（TIDB、KUDU等）。

3、数据延迟

主从架构下的多副本机制和水平分库后的聚合库都会存在主数据和副本数据之间的延迟问题。

4、跨库join

分库分表后表之间的关联 *** 作将受到限制，我们无法join位于不同分库的表（垂直），也无法join分表粒度不同的表（水平）， 结果原本一次查询就能够完成的业务，可能需要多次查询才能完成。

5、分片扩容

水平分片之后，一旦需要做扩容时。需要将对应的数据做一次迁移，成本代价都极高的。

6、ID生成

分库分表后由于数据库独立，原有的基于数据库自增ID将无法再使用，这个时候需要采用其他外部的ID生成方案。

一、应用层依赖类（JDBC）

这类分库分表中间件的特点就是和应用强耦合，需要应用显示依赖相应的jar包（以Java为例），比如知名的TDDL、当当开源的 sharding-jdbc 、蘑菇街的TSharding等。

此类中间件的基本思路就是重新实现JDBC的API，通过重新实现 DataSource 、 PrepareStatement 等 *** 作数据库的接口，让应用层在 基本 不改变业务代码的情况下透明地实现分库分表的能力。

中间件给上层应用提供熟悉的JDBC API，内部通过 sql解析 、 sql重写 、 sql路由 等一系列的准备工作获取真正可执行的sql，然后底层再按照传统的方法（比如数据库连接池）获取物理连接来执行sql，最后把数据 结果合并 处理成ResultSet返回给应用层。

优点

缺点

二、中间层代理类（Proxy）

这类分库分表中间件的核心原理是在应用和数据库的连接之间搭起一个 代理层 ，上层应用以 标准的MySQL协议 来连接代理层，然后代理层负责 转发请求 到底层的MySQL物理实例，这种方式对应用只有一个要求，就是只要用MySQL协议来通信即可。

所以用MySQL Navicat这种纯的客户端都可以直接连接你的分布式数据库，自然也天然 支持所有的编程语言 。

在技术实现上除了和应用层依赖类中间件基本相似外，代理类的分库分表产品必须实现标准的MySQL协议，某种意义上讲数据库代理层转发的就是MySQL协议请求，就像Nginx转发的是>

无需用户自己考虑高可用、备份恢复等问题，而且阿里针对开源的数据库做了部分优化。另外提供一些诸如监控、告警、备份、恢复、调优的手段。就是减轻用户在业务无关方面的花销，花小钱省下力气聚焦在自己的业务上。

阿里数据库特性：

实例创建快速选择好需要的套餐后，RDS控制台会根据选择的套餐优化配置参数，短短几分钟一个可以使用的数据库实例就创建好了。

支持只读实例RDS只读实例面向对数据库有大量读请求而非大量写请求的读写场景，通过为标准实例创建多个RDS只读实例，赋予标准实例d性的读能力扩展，从而增加用户的吞吐量。

故障自动切换主库发生不可预知的故障（如：硬件故障）时，RDS将自动切换该实例下的主库实例，恢复时间一般<5min。

1、Ibatis是MyBatis的前身，它是一个开源的持久层框架。它的核心是SqlMap——将实体Bean跟关系数据库进行映射，将业务代码和SQL语句的书写进行分开。

2、Ibatis是“半自动化”的ORM持久层框架。这里的“半自动化”是相对Hibernate等提供了全面的数据库封装机制的“全自动化”ORM实现而言的，“全自动”ORM实现了POJO与数据库表字段之间的映射并且实现了SQL的自动生成和执行。

3、而Ibatis的着力点，则在于POJO与SQL之间的映射关系，即Ibatis并不会为程序员在运行期自动生成并执行SQL，具体的SQL语句需要程序员编写，然后通过映射配置文件将SQL语句所需的参数和返回的结果字段映射到指定POJO中。

4、StudentDaojava文件中的代码：

package comghjdaoimp;import javaioIOException;import javaioReader;import javasqlSQLException;import javautilHashMap;import javautilList;import javautilMap;import comghjdaoIStudentDao;import comghjvoStudent;import comibatiscommonresourcesResources;import comibatissqlmapclientSqlMapClient;import comibatissqlmapclientSqlMapClientBuilder;/  学生管理数据访问层接口实现类    @author 高焕杰 /public class StudentDao implements IStudentDao {private SqlMapClient sqlMapClient;public StudentDao() {String resource = "config/sqlMapConfigxml";try {Reader reader = ResourcesgetResourceAsReader(resource);//读取配置文件sqlMapClient = SqlMapClientBuilderbuildSqlMapClient(reader);} catch (IOException e) {eprintStackTrace();}}/  添加学生信息    @author 高焕杰 /@Overridepublic boolean add(Student student) throws SQLException{return sqlMapClientupdate("add", student) > 0;}/  依据用户名删除学生信息    @author 高焕杰 /@Overridepublic boolean deleteByUserName(String userName) throws SQLException{return sqlMapClientdelete("deleteByUserName", userName) > 0;}/  依据用户名更新密码    @author 高焕杰 /@Overridepublic boolean updatePasswordByUserName(String userName, String password) throws SQLException{Map<String, Object> params = new HashMap<String, Object>();paramsput("userName", userName);paramsput("password", password);return sqlMapClientupdate("updatePasswordByUserName", params) > 0;}/  根据学生用户名查询学生信息    @author 高焕杰 /@Overridepublic Student findByUserName(String userName) throws SQLException{return (Student)sqlMapClientqueryForObject("findByUserName", userName);}/  查询所有学生信息    @author 高焕杰 /@Override@SuppressWarnings("unchecked")public List<Student> findAll() throws SQLException{return sqlMapClientqueryForList("findAll");}}

        studentxml文件中的代码：

<xml version="10" encoding="UTF-8"><!DOCTYPE sqlMap PUBLIC "-//ibatisapacheorg//DTD SQL Map 20//EN" "

!-- 为Student类设置一个别名 --><typeAlias alias="student" type="comghjvoStudent"/><!-- 配置表和实体Bean之间的映射关系 --><resultMap id="studentMap" class="comghjvoStudent"><result property="id" column="id"/><result property="userName" column="user_name"/><result property="password" column="password"/><result property="state" column="state"/></resultMap><!-- 添加学生信息 --><insert id="add" parameterClass="student">insert into student values(#id#, #userName#, #password#, #state#)</insert><!-- 依据用户名删除学生信息 --><delete id="deleteByUserName" parameterClass="javalangString">      delete from student where user_name=#userName# </delete><!-- 依据用户名更新密码 --><update id="updatePasswordByUserName" parameterClass="javautilHashMap">        update student set password=#password# where user_name=#userName# </update><!-- 根据学生用户名查询学生信息 --><select id="findByUserName" parameterClass="string" resultMap="studentMap">select  from student where user_name=#userName#</select><!-- 查询所有学生信息 --><select id="findAll" resultMap="studentMap">select  from student</select></sqlMap>

工欲善其事必先利其器，先下相关的jar包吧，CSDN上一搜一大把，我的资源中也有。

C3P0就是一个数据库连接池，我们先看一个巨简单的使用C3P0的例子吧，访问本机Oracle的一张表：

[java] view plain copy

package cntest;

import javasqlConnection;

import javasqlResultSet;

import javasqlStatement;

import commchangev2c3p0ComboPoole

我知道的是打个比方

数据源就像是移动的客服的接线人员,连接池就是一个容器,打电话进来,从里面给你分配一个连接,系统给你一个名额,,使用完成释放,其他的打进来的再用,现在不少的项目还用的上

数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性，影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而再不是重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库 *** 作的性能。

在Java中开源的数据库连接池有以下几种 ：

1, C3P0 C3P0是一个开放源代码的JDBC连接池，它在lib目录中与Hibernate一起发布,包括了实现jdbc3和jdbc2扩展规范说明的Connection 和Statement 池的DataSources 对象。

2,Proxool 这是一个Java SQL Driver驱动程序，提供了对你选择的其它类型的驱动程序的连接池封装。可以非常简单的移植到现存的代码中。完全可配置。快速，成熟，健壮。可以透明地为你现存的JDBC驱动程序增加连接池功能。

3,Jakarta DBCP DBCP是一个依赖Jakarta commons-pool对象池机制的数据库连接池DBCP可以直接的在应用程序用使用。

4,DDConnectionBroker DDConnectionBroker是一个简单，轻量级的数据库连接池。

5,DBPool DBPool是一个高效的易配置的数据库连接池。它除了支持连接池应有的功能之外，还包括了一个对象池使你能够开发一个满足自已需求的数据库连接池。

6,XAPool XAPool是一个XA数据库连接池。它实现了javaxsqlXADataSource并提供了连接池工具。

7,Primrose Primrose是一个Java开发的数据库连接池。当前支持的容器包括Tomcat4&5,Resin3与JBoss3它同样也有一个独立的版本可以在应用程序中使用而不必运行在容器中。Primrose通过一个web接口来控制SQL处理的追踪，配置，动态池管理。在重负荷的情况下可进行连接请求队列处理。

8,SmartPool SmartPool是一个连接池组件，它模仿应用服务器对象池的特性。SmartPool能够解决一些临界问题如连接泄漏(connection leaks),连接阻塞,打开的JDBC对象如Statements,PreparedStatements等 SmartPool的特性包括支持多个pools,自动关闭相关联的JDBC对象, 在所设定time-outs之后察觉连接泄漏,追踪连接使用情况, 强制启用最近最少用到的连接,把SmartPool"包装"成现存的一个pool等。

9,MiniConnectionPoolManager MiniConnectionPoolManager是一个轻量级JDBC数据库连接池。它只需要Java15（或更高）并且没有依赖第三方包。

10,BoneCP BoneCP是一个快速，开源的数据库连接池。帮你管理数据连接让你的应用程序能更快速地访问数据库。比C3P0/DBCP连接池快25倍。

1dbcp

dbcp可能是使用最多的开源连接池，原因大概是因为配置方便，而且很多开源和tomcat应用例子都是使用的这个连接池吧。

这个连接池可以设置最大和最小连接，连接等待时间等，基本功能都有。这个连接池的配置参见附件压缩包中的:dbcpxml

使用评价：在具体项目应用中，发现此连接池的持续运行的稳定性还是可以，不过速度稍慢，在大并发量的压力下稳定性有所下降，此外不提供连接池监控

2c3p0

c3p0是另外一个开源的连接池，在业界也是比较有名的，这个连接池可以设置最大和最小连接，连接等待时间等，基本功能都有。

这个连接池的配置参见附件压缩包中的:c3p0xml。

使用评价：在具体项目应用中，发现此连接池的持续运行的稳定性相当不错，在大并发量的压力下稳定性也有一定保证，此外不提供连接池监控。

3proxool

proxool这个连接池可能用到的人比较少，但也有一定知名度，这个连接池可以设置最大和最小连接，连接等待时间等，基本功能都有。

这个连接池的配置参见附件压缩包中的：proxoolxml。

使用评价：在具体项目应用中，发现此连接池的持续运行的稳定性有一定问题

以上就是关于数据库架构选型与落地，看这篇就够了全部的内容，包括:数据库架构选型与落地，看这篇就够了、阿里数据库运用范围、ibatis怎么连接mysql数据库连接池等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！