SpringBoot HikariCP配置项及源码解析
目录
- 前言
- 为什么HikariCP性能高
- 常用配置项
- autoCommit
- connectionTimeout
- idleTimeout
- maxLifetime
- connectionTestQuery
- minimumIdle
- maximumPoolSize
- HikariCP架构
- 源码解析
- HikariConfig
- HikariPool
- getConnection
- HouseKeeper
- HikariDataSource
前言
在SpringBoot2.0之后，采用的默认数据库连接池就是Hikari,是一款非常强大，高效，并且号称“史上最快连接池”。我们知道的连接池有C3P0,DBCP,Druid它们都比较成熟稳定，但性能不是十分好。
我们在日常的编码中，通常会将一些对象保存起来，这主要考虑的是对象的创建成本；比如像线程资源、数据库连接资源或者 TCP 连接等，这类对象的初始化通常要花费比较长的时间，如果频繁地申请和销毁，就会耗费大量的系统资源，造成不必要的性能损失，于是在Java 中，池化技术应用非常广泛。在软件行开发中，软件的性能是占主导地位的，于是HikariCP就在众多数据库连接池中脱颖而出。
为什么HikariCP性能高
- 优化代理和拦截器：减少代码。
- 字节码精简 ：优化代码（
HikariCP利用了一个第三方的Java字节码修改类库Javassist来生成委托实现动态代理，动态代理的实现在ProxyFactory类），直到编译后的字节码最少，这样，CPU缓存可以加载更多的程序代码。 - 通过代码设计和优化大幅减少线程间的锁竞争。这点主要通过
ConcurrentBag来实现。 - 自定义数组类型（
FastStatementList）代替ArrayList：避免每次get()调用都要进行range check，避免调用remove()时的从头到尾的扫描，相对与ArrayList极大地提升了性能，而其中的区别是，ArrayList在每次执行get(Index)方法时，都需要对List的范围进行检查，而FastStatementList不需要，在能确保范围的合法性的情况下，可以省去范围检查的开销。自定义集合类型（ConcurrentBag）：支持快速插入和删除，特别是在同一线程既添加又删除项时，提高并发读写的效率； - 关于
Connection的操作：另外在Java代码中，很多都是在使用完之后直接关闭连接，以前都是从头到尾遍历，来关闭对应的Connection，而HikariCP则是从尾部对Connection集合进行扫描，整体上来说，从尾部开始的性能更好一些。 - 针对连接中断的情况：比其他CP响应时间上有了极好的优化，响应时间为5S，会抛出
SqlException异常，并且后续的getConnection()可以正常进行
下面为大家附上一张官方的性能测试图，我们可以从图上很直观的看出HikariCP的性能卓越：
常用配置项
autoCommit
控制从池返回的连接的默认自动提交行为，默认为true
connectionTimeout
控制客户端等待来自池的连接的最大毫秒数。
如果在没有连接可用的情况下超过此时间，则将抛出 SQLException。可接受的最低连接超时时间为 250 毫秒。默认值：30000（30 秒）
idleTimeout
连接允许在池中闲置的最长时间
如果idleTimeout+1秒>maxLifetime 且 maxLifetime>0，则会被重置为0（代表永远不会退出）；如果idleTimeout!=0且小于10秒，则会被重置为10秒
这是HikariCP用来判断是否应该从连接池移除空闲连接的一个重要的配置。负责剔除的也还是HouseKeeper这个定时任务，值为0时，HouseKeeper不会移除空闲连接，直到到达maxLifetime后，才会移除，默认值也就是0。
HouseKeeper会找到所有状态为空闲的连接队列，遍历一遍，将空闲超时到达idleTimeout且未超过minimumIdle数量的连接的批量移除。
maxLifetime
池中连接最长生命周期;如果不等于0且小于30秒则会被重置回30分钟
了解这个值的作用前，先了解一下mysqlwait_timeout的作用：MySQL 为了防止空闲连接浪费，占用资源，在超过wait_timeout时间后，会主动关闭该连接，清理资源;默认是28800s，也就是8小时。简而言之就是MySQL会在某个连接超过8小时还没有任何请求时自动断开连接，但是HikariCP如何知道池子里的连接有没有超过这个时间呢？所以就有了maxLifetime,配置后HikariCP会把空闲链接超过这个时间的给剔除掉，防止获取到已经关闭的连接导致异常。
connectionTestQuery
将在从池中向您提供连接之前执行的查询，以验证与数据库的连接是否仍然有效，如select 1
minimumIdle
池中维护的最小空闲连接数;minIdle<0或者minIdle>maxPoolSize,则被重置为maxPoolSize
在HikariCP Pool创建时，会启动一个HouseKeeper定时任务，每隔30s，判断空闲线程数低于minimumIdle，并且当前线程池总连接数小于maximumPoolSize，就建立和MySQL的一个长连接，然后加入到连接池中。官方建议minimumIdle和maximumPoolSize保持一致。 因为HikariCP的HouseKeeper在发现idleTimeout>0 并且 minimumIdle < maximumPoolSize时，先会去扫描一遍需要移除空闲连接，和MySQL断开连接。然后再一次性补满空闲连接数至到minimumIdle。
maximumPoolSize
池中最大连接数，其实就是线程池中队列的大小，默认大小为10（包括闲置和使用中的连接）
如果maxPoolSize小于1，则会被重置。当minIdle<=0被重置为DEFAULT_POOL_SIZE则为10;如果minIdle>0则重置为minIdle的值
HikariCP架构
分析源码之前，先给大家介绍一下HikariCP的整体架构，整体架构和DBCP2 的有点类似（由此可见 HikariCP 与 DBCP2 性能差异并不是由于架构设计）,下面我总结了几点，来和大家一起探讨下：
HikariCP通过JMX调用HikariPoolMXBean来获取连接池的连接数、获取等待连接的线程数、丢弃未使用连接、挂起和恢复连接池等。HikariCP通过JMX调用HikariConfigMXBean来动态修改配置。HikariCP使用HikariConfig加载配置文件，一般会作为入参来构造 HikariDataSource 对象。HikariPool是一个非常重要的类，它负责管理连接，涉及到比较多的代码逻辑。HikariDataSource主要用于操作HikariPool获取连接。ConcurrentBag用于优化大幅减少线程间的锁竞争。PoolBase是HikariPool的父类，主要负责操作实际的DataSource获取连接，并设置连接的一些属性。
源码解析
HikariConfig
HikariConfig保存了所有连接池配置，另外实现了HikariConfigMXBean接口，有些配置可以利用JMX运行时变更。核心配置项属性会在下面给大家介绍，这边Dong哥就简单介绍一下了。
HikariPool
getConnection
public Connection getConnection(final long hardTimeout) throws SQLException
{
//这里是防止线程池处于暂停状态（通常不允许线程池可暂停）
suspendResumeLock.acquire();
final long startTime = currentTime();
try {
long timeout = hardTimeout;
do {
//PoolEntry 用于跟踪connection实例，里面包装了Connection;
//从connectionBag中获取一个对象，并且检测是否可用
PoolEntry poolEntry = connectionBag.borrow(timeout, MILLISECONDS);
if (poolEntry == null) {
break; // We timed out... break and throw exception
}
final long now = currentTime();
开发者_Python教程 //1、已被标记为驱逐 2、已超过最大存活时间 3、链接已死
if (poolEntry.isMarkedEvicted() || (elapsedMillis(poolEntry.lastAccessed, now) > ALIVE_BYPASS_WINDOW_MS && !isConnectionAlive(poolEntry.connection))) {
closeConnection(poolEntry, poolEntry.isMarkedEvicted() ? EVICTED_CONNECTION_MESSAGE : DEAD_CONNECTION_MESSAGE);
//刷新超时时间
timeout = hardTimeout - elapsedMillis(startTime);
}
else {
metricsTracker.recordBorrowStats(poolEntry, startTime);
return poolEntry.createProxyConnection(leakTaskFactory.schedule(poolEntry), now);
}
http://www.devze.com //如果没超时则再次获取
} while (timeout > 0L);
//超时时间到仍未获取到链接则抛出 TimeoutException
metricsTracker.recordBorrowTimeoutStats(startTime);
throw createTimeoutException(startTime);
}
catch (InterruptedException e) {
Thread.currentThread().interrupt();
throw new SQLException(poolName + " - Interrupted during connection acquisition", e);
}
finally {
suspendResumeLock.release();
}
}
校验：
- isMarkedEvicted：检查当前链接是否已被驱逐
- elapsedMillis(poolEntry.lastAccessed, now)：检查链接是否超过最大存活时间(
maxLifetime配置时间)
/**
* startTime 上次使用时间
* endTime 当前时间
*/
static long elapsedMillis(long startTime, long endTime) {
return CLOCK.elapsedMillis0(startTime, endTime);
}
- isConnectionAlive:连接是否还是存活状态
boolean isConnectionAlive(final Connection connection)
{
try {
try {
//如果支持Connection networkTimeout,则优先使用并设置
setNetworkTimeout(connection, validationTimeout);
final int validationSeconds = (int) Math.max(1000L, validationTimeout) / 1000;
//如果jdbc实现支持jdbc4 则使用jdbc4 Connection的isValid方法检测
if (isUseJdbc4Validation) {
return connection.isValid(validationSeconds);
}
//查询数据库检测连接可用性
try (Statement statement = connection.createStatement()) {
//如果不支持Connection networkTimeout 则设置Statement queryTimeout
if (isNetworkTimeoutSupported != TRUE) {
setQueryTimeout(statement, validationSeconds);
}
statement.execute(config.getConnectionTestQuery());
}
}
finally {
setNetworkTimeout(connection, networkTimeout);
if (isIsolateInternalQueries && !isAutoCommit) {
connection.rollback();
}
}
return true;
}
catch (Exception e) {
lastConnectionFailure.set(e);
LOGGER.warn("{} - Failed to validate connection {} ({}). Possibly consider using a shorter maxLifetime value.",
poolName, connection, e.getMessage());
http://www.devze.com//捕获到异常，说明链接不可用。（connection is unavailable）
return false;
}
}
HouseKeeper
HouseKeeper负责保持，我们始终有minimumIdle空闲链接可用
private final class HouseKeeper implements Runnable
{
//默认30s,执行一次
private volatile long previous = plusMillis(currentTime(), -HOUSEKEEPING_PERIOD_MS);
@Override
public void run()
{
try {
//省略......
String afterPrefix = "Pool ";
if (idleTimeout > 0L && config.getMinimumIdle() < config.getMaximumPoolSize()) {
logPoolState("Before cleanup ");
afterPrefix = "After cleanup ";
//空闲链接数
final List<PoolEntry> notInUse = connectionBag.values(STATE_NOT_IN_USE);
int toRemove = notInUse.size() - config.getMinimumIdle();
for (PoolEntry entry : notInUse) {
if (toRemove > 0 && elapsedMillis(entry.lastAccessed, now) > idleTimeout && connectionBag.reserve(entry)) {
//关闭过多的空闲超时链接
closeConnection(entry, "(connection has passed idleTimeout)");
toRemove--;
}
}
}
//记录pool状态信息
logPoolState(afterPrefix);
//补充空闲链接
fillPool();
}
catch (Exception e) {
LOGGER.error("Unexpected exception in housekeeping task", e);
}
}
}
HouseKeeper其实是一个线程，也是写在HikariPool类里面的一个内部类，主要负责保持 minimumIdle 的空闲链接。HouseKeeper也用到了validationTimeout， 并且会根据minimumIdle配置，通过fill 或者 remove保持最少空闲链接数。
HouseKeeper线程初始化：
public HikariPool(final HikariConfig config)
{
super(config);
android this.connectionBag = new ConcurrentBag<>(this);
this.suspendResumeLock = config.isAllowpoolSuspension() ? new SuspendResumeLock() : SuspendResumeLock.FAUX_LOCK;
//执行初始化
this.houseKeepingExecutorService = initializeHouseKeepingExecutorjavascriptService();
//省略......
}
}
private ScheduledExecutorService initializeHouseKeepingExecutorService() {
if (this.config.getScheduledExecutor() == null) {
ThreadFactory threadFactory = (ThreadFactory)Optional.ofNullable(this.config.getThreadFactory()).orElseGet(() -> {
return new DefaultThreadFactory(this.poolName + " housekeeper", true);
});
//ScheduledThreadPoolExecutor是Threadhttp://www.devze.comPoolExecutor类的子类，Java推荐仅在开发定时任务程序时采用ScheduledThreadPoolExecutor类
ScheduledThreadPoolExecutor executor = new ScheduledThreadPoolExecutor(1, threadFactory, new DiscardPolicy());
//传入false，则执行shutdown()方法之后，待处理的任务将不会被执行
executor.setExecuteExistingDelayedTasksAfterShutdownPolicy(false);
//取消任务后，判断是否需要从阻塞队列中移除任务
executor.setRemoveOnCancelPolicy(true);
return executor;
} else {
return this.config.getScheduledExecutor();
}
}
HikariDataSource
HikariDataSource 非常重要，主要用于操作HikariPool获取连接，并且能够清除空闲连接。
public class HikariDataSource extends HikariConfig implements DataSource, Closeable {
private final AtomicBoolean isShutdown = new AtomicBoolean();
//final修饰，构造时决定,如果使用无参构造为null，使用有参构造和pool一样
private final HikariPool fastPathPool;
//volatile修饰,无参构造不会设置pool，在getConnection时构造pool，有参构造和fastPathPool一样。
private volatile HikariPool pool;
public HikariDataSource() {
super();
fastPathPool = null;
}
public HikariDataSource(HikariConfig configuration) {
configuration.validate();
configuration.copyStateTo(this);
pool = fastPathPool = new HikariPool(this);
this.seal();
}
}
以上就是SpringBoot HikariCP配置项及源码解析的详细内容，更多关于SpringBoot HikariCP配置的资料请关注我们其它相关文章！
加载中,请稍侯......
精彩评论