c3p0与DBCP连接池，造成的MySql 8小时问题解决方案

时间：2022-09-19 23:23:05
解决的思路是：MySQL配置中my.cnf的wait_timeout值一定要大于等于连接池种的idle_timeout值。否则mysql会在wait_timeout的时间后关闭连接，默认的关闭连接的时间为8小时。


MySQL连接时，服务器默认的“wait_timeout”是8小时，也就是说一个connection空闲超过8个小时，Mysql将自动断开该connection。connections如果空闲超过8小时，Mysql将其断开，而DBCP并不知道该connection已经失效，如果这时有Client请求connection，DBCP将该失效的Connection提供给Client，将会造成异常。


那样，在DBCP中我们需要处理好以下问题：
1、对每个连接进行检查
2、对一次操作数据库超过多少时间的连接进行移除
3、每隔多少时间检测一次连接
4、一个连接在连接多少时间后，就必须删除

具体的配置如下：

<bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource">
 <property name="driverClassName" value="com.mysql.jdbc.Driver" />
 <property name="url" value="jdbc:mysql://192.168.40.10:3336/XXX" />
 <property name="username" value="" />
 <property name="password" value="" />
 <property name="maxWait" value="20000"></property>
 <property name="validationQuery" value="SELECT 1"></property>
 <property name="testWhileIdle" value="true"></property>
 <property name="testOnBorrow" value="true"></property>
 <property name="timeBetweenEvictionRunsMillis" value="3600000"></property>
 <property name="numTestsPerEvictionRun" value="50"></property>
 <property name="minEvictableIdleTimeMillis" value="120000"></property>
 <property name="removeAbandoned" value="true"/>
 <property name="removeAbandonedTimeout" value="6000000"/>
</bean>

--------------------------------------------------------------------------------------------------------------------------------------------------------



本文提供了对c3p0与DBCP连接池连接MySql数据库时， 8小时内无请求自动断开连接的解决方案。首先介绍一下我在项目（c3p0连接池）中遇到的问题，后面还提供了使用DBCP连接池的解决方案。

基本问题解决

项目环境：

Java Web项目框架为Spring MVC+JPA，使用c3p0连接池，发布环境为Tomcat 7

错误描述：

项目运行一段时间（大概几个小时）之后访问时会出现第一次访问报错，再次访问正常的现象，且多次出现此问题。

报错日志：

org.springframework.transaction.CannotCreateTransactionException: Could not open JPA EntityManager for transaction; nested exception is javax.persistence.PersistenceException: org.hibernate.TransactionException: JDBC begin transaction failed: 
at org.springframework.orm.jpa.JpaTransactionManager.doBegin(JpaTransactionManager.java:428)
at org.springframework.transaction.support.AbstractPlatformTransactionManager.getTransaction(AbstractPlatformTransactionManager.java:372)
at org.springframework.transaction.interceptor.TransactionAspectSupport.createTransactionIfNecessary(TransactionAspectSupport.java:417)
at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:255)
at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:94)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:631)
at com.appcarcare.cube.service.UserService$$EnhancerByCGLIB$$a4429cba.getUserDao(<generated>)

at com.appcarcare.cube.servlet.DataCenterServlet$SqlTimer.connectSql(DataCenterServlet.java:76)
at com.appcarcare.cube.servlet.DataCenterServlet$SqlTimer.run(DataCenterServlet.java:70)
at java.util.TimerThread.mainLoop(Timer.java:555)
at java.util.TimerThread.run(Timer.java:505)
Caused by: javax.persistence.PersistenceException: org.hibernate.TransactionException: JDBC begin transaction failed: 
at org.hibernate.ejb.AbstractEntityManagerImpl.convert(AbstractEntityManagerImpl.java:1387)
at org.hibernate.ejb.AbstractEntityManagerImpl.convert(AbstractEntityManagerImpl.java:1310)

at org.hibernate.ejb.AbstractEntityManagerImpl.throwPersistenceException(AbstractEntityManagerImpl.java:1397)
at org.hibernate.ejb.TransactionImpl.begin(TransactionImpl.java:62)
at org.springframework.orm.jpa.DefaultJpaDialect.beginTransaction(DefaultJpaDialect.java:71)
at org.springframework.orm.jpa.vendor.HibernateJpaDialect.beginTransaction(HibernateJpaDialect.java:60)
at org.springframework.orm.jpa.JpaTransactionManager.doBegin(JpaTransactionManager.java:378)
... 11 more
Caused by: org.hibernate.TransactionException: JDBC begin transaction failed: 
at org.hibernate.engine.transaction.internal.jdbc.JdbcTransaction.doBegin(JdbcTransaction.java:76)
at org.hibernate.engine.transaction.spi.AbstractTransactionImpl.begin(AbstractTransactionImpl.java:160)

at org.hibernate.internal.SessionImpl.beginTransaction(SessionImpl.java:1426)
at org.hibernate.ejb.TransactionImpl.begin(TransactionImpl.java:59)
... 14 more
Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

The last packet successfully received from the server was 1,836,166 milliseconds ago.  The last packet sent successfully to the server was 29,134 milliseconds ago.
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)
at com.mysql.jdbc.SQLError.createCommunicationsException(SQLError.java:1117)
at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3567)
at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3456)

at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3997)
at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:2468)
at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2629)
at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2713)
at com.mysql.jdbc.ConnectionImpl.setAutoCommit(ConnectionImpl.java:5060)
at com.mchange.v2.c3p0.impl.NewProxyConnection.setAutoCommit(NewProxyConnection.java:881)
at org.hibernate.engine.transaction.internal.jdbc.JdbcTransaction.doBegin(JdbcTransaction.java:72)

... 17 more
Caused by: java.net.SocketException: Software caused connection abort: recv failed
at java.net.SocketInputStream.socketRead0(Native Method)
at java.net.SocketInputStream.read(SocketInputStream.java:150)
at java.net.SocketInputStream.read(SocketInputStream.java:121)
at com.mysql.jdbc.util.ReadAheadInputStream.fill(ReadAheadInputStream.java:114)
at com.mysql.jdbc.util.ReadAheadInputStream.readFromUnderlyingStreamIfNecessary(ReadAheadInputStream.java:161)
at com.mysql.jdbc.util.ReadAheadInputStream.read(ReadAheadInputStream.java:189)
at com.mysql.jdbc.MysqlIO.readFully(MysqlIO.java:3014)
at com.mysql.jdbc.MysqlIO.reuseAndReadPacket(MysqlIO.java:3467)
... 25 more


原因分析：

MySQL服务器默认的“wait_timeout”是28800秒即8小时，意味着如果一个连接的空闲时间超过8个小时，MySQL将自动断开该连接，而连接池却认为该连接还是有效的(因为并未校验连接的有效性)，当应用申请使用该连接时，就会导致上面的报错。

解决方案(解决这个问题的办法有三种，推荐第二种)：

1. 增加 MySQL 的 wait_timeout 属性的值 

修改mysql安装目录下的配置文件 my.ini文件（如果没有此文件，复制“my-default.ini”文件，生成“复件 my-default.ini”文件。将“复件 my-default.ini”文件重命名成“my.ini”），在文件中设置：  
wait_timeout=31536000
interactive_timeout=31536000
这两个参数的默认值是8小时(60*60*8=28800)。 注意： 1.wait_timeout的最大值只允许2147483 （24天左右） 2.修改配置文件为网上大部分文章所提供的方式，也可以使用mysql命令对这两个属性进行修改 c3p0与DBCP连接池，造成的MySql 8小时问题解决方案
 c3p0与DBCP连接池，造成的MySql 8小时问题解决方案 c3p0与DBCP连接池，造成的MySql 8小时问题解决方案

2. 减少连接池内连接的生存周期

减少连接池内连接的生存周期，使之小于上一项中所设置的wait_timeout 的值。  修改 c3p0 的配置文件，在 Spring 的配置文件中设置： 
<bean id="dataSource"  class="com.mchange.v2.c3p0.ComboPooledDataSource">  
<property name="maxIdleTime"value="1800"/>  
<!--other properties -->  
</bean>

3. 定期使用连接池内的连接

定期使用连接池内的连接，使得它们不会因为闲置超时而被 MySQL 断开。 
 修改 c3p0 的配置文件,在 Spring 的配置文件中设置： 
        <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource">  
<property name="preferredTestQuery" value="SELECT 1"/>  
<property name="idleConnectionTestPeriod" value="18000"/>  
<property name="testConnectionOnCheckout" value="true"/>  
</bean>

知识扩展

C3P0

C3P0是一个开放源代码的JDBC连接池，它在lib目录中与Hibernate一起发布,包括了实现jdbc3和jdbc2扩展规范说明的Connection 和Statement 池的DataSources 对象。 c3p0配置文件

<default-config> 
　　<!--当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 --> 
　　<property name="acquireIncrement">3</property> 
　　<!--定义在从数据库获取新连接失败后重复尝试的次数。Default: 30 --> 
　　<property name="acquireRetryAttempts">30</property> 
　　<!--两次连接中间隔时间，单位毫秒。Default: 1000 --> 
　　<property name="acquireRetryDelay">1000</property> 
　　<!--连接关闭时默认将所有未提交的操作回滚。Default: false --> 
　　<property name="autoCommitOnClose">false</property> 
　　<!--c3p0将建一张名为Test的空表，并使用其自带的查询语句进行测试。如果定义了这个参数那么 
　　属性preferredTestQuery将被忽略。你不能在这张Test表上进行任何操作，它将只供c3p0测试 
　　使用。Default: null--> 
　　<property name="automaticTestTable">Test</property> 
　　<!--获取连接失败将会引起所有等待连接池来获取连接的线程抛出异常。但是数据源仍有效 
　　保留，并在下次调用getConnection()的时候继续尝试获取连接。如果设为true，那么在尝试 
　　获取连接失败后该数据源将申明已断开并永久关闭。Default: false--> 
　　<property name="breakAfterAcquireFailure">false</property> 
　　<!--当连接池用完时客户端调用getConnection()后等待获取新连接的时间，超时后将抛出 
　　SQLException,如设为0则无限期等待。单位毫秒。Default: 0 --> 
　　<property name="checkoutTimeout">100</property> 
　　<!--通过实现ConnectionTester或QueryConnectionTester的类来测试连接。类名需制定全路径。 
　　Default: com.mchange.v2.c3p0.impl.DefaultConnectionTester--> 
　　<property name="connectionTesterClassName"></property> 
　　<!--指定c3p0 libraries的路径，如果（通常都是这样）在本地即可获得那么无需设置，默认null即可 
　　Default: null--> 
　　<property name="factoryClassLocation">null</property> 
　　<!--Strongly disrecommended. Setting this to true may lead to subtle and bizarre bugs. 
　　（文档原文）作者强烈建议不使用的一个属性--> 
　　<property name="forceIgnoreUnresolvedTransactions">false</property> 
　　<!--每60秒检查所有连接池中的空闲连接。Default: 0 --> 
　　<property name="idleConnectionTestPeriod">60</property> 
　　<!--初始化时获取三个连接，取值应在minPoolSize与maxPoolSize之间。Default: 3 --> 
　　<property name="initialPoolSize">3</property> 
　　<!--最大空闲时间,60秒内未使用则连接被丢弃。若为0则永不丢弃。Default: 0 --> 
　　<property name="maxIdleTime">60</property> 
　　<!--连接池中保留的最大连接数。Default: 15 --> 
　　<property name="maxPoolSize">15</property> 
　　<!--JDBC的标准参数，用以控制数据源内加载的PreparedStatements数量。但由于预缓存的statements 
　　属于单个connection而不是整个连接池。所以设置这个参数需要考虑到多方面的因素。 
　　如果maxStatements与maxStatementsPerConnection均为0，则缓存被关闭。Default: 0--> 
　　<property name="maxStatements">100</property> 
　　<!--maxStatementsPerConnection定义了连接池内单个连接所拥有的最大缓存statements数。Default: 0 --> 
　　<property name="maxStatementsPerConnection"></property> 
　　<!--c3p0是异步操作的，缓慢的JDBC操作通过帮助进程完成。扩展这些操作可以有效的提升性能 
　　通过多线程实现多个操作同时被执行。Default: 3--> 
　　<property name="numHelperThreads">3</property> 
　　<!--当用户调用getConnection()时使root用户成为去获取连接的用户。主要用于连接池连接非c3p0 
　　的数据源时。Default: null--> 
　　<property name="overrideDefaultUser">root</property> 
　　<!--与overrideDefaultUser参数对应使用的一个参数。Default: null--> 
　　<property name="overrideDefaultPassword">password</property> 
　　<!--密码。Default: null--> 
　　<property name="password"></property> 
　　<!--定义所有连接测试都执行的测试语句。在使用连接测试的情况下这个一显著提高测试速度。注意： 
　　测试的表必须在初始数据源的时候就存在。Default: null--> 
　　<property name="preferredTestQuery">select id from test where id=1</property> 
　　<!--用户修改系统配置参数执行前最多等待300秒。Default: 300 --> 
　　<property name="propertyCycle">300</property> 
　　<!--因性能消耗大请只在需要的时候使用它。如果设为true那么在每个connection提交的 
　　时候都将校验其有效性。建议使用idleConnectionTestPeriod或automaticTestTable 
　　等方法来提升连接测试的性能。Default: false --> 
　　<property name="testConnectionOnCheckout">false</property> 
　　<!--如果设为true那么在取得连接的同时将校验连接的有效性。Default: false --> 
　　<property name="testConnectionOnCheckin">true</property> 
　　<!--用户名。Default: null--> 
　　<property name="user">root</property> 
　　在Hibernate（spring管理）中的配置： 
　　<bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close"> 
　　<property name="driverClass"><value>oracle.jdbc.driver.OracleDriver</value></property> 
　　<property name="jdbcUrl"><value>jdbc:oracle:thin:@localhost:1521:Test</value></property> 
　　<property name="user"><value>Kay</value></property> 
　　<property name="password"><value>root</value></property> 
　　<!--连接池中保留的最小连接数。--> 
　　<property name="minPoolSize" value="10" /> 
　　<!--连接池中保留的最大连接数。Default: 15 --> 
　　<property name="maxPoolSize" value="100" /> 
　　<!--最大空闲时间,1800秒内未使用则连接被丢弃。若为0则永不丢弃。Default: 0 --> 
　　<property name="maxIdleTime" value="1800" /> 
　　<!--当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 --> 
　　<property name="acquireIncrement" value="3" /> 
　　<property name="maxStatements" value="1000" /> 
　　<property name="initialPoolSize" value="10" /> 
　　<!--每60秒检查所有连接池中的空闲连接。Default: 0 --> 
　　<property name="idleConnectionTestPeriod" value="60" /> 
　　<!--定义在从数据库获取新连接失败后重复尝试的次数。Default: 30 --> 
　　<property name="acquireRetryAttempts" value="30" /> 
　　<property name="breakAfterAcquireFailure" value="true" /> 
　　<property name="testConnectionOnCheckout" value="false" /> 
　　</bean> 
　　########################### 
　　### C3P0 Connection Pool### 
　　########################### 
　　#hibernate.c3p0.max_size 2 
　　#hibernate.c3p0.min_size 2 
　　#hibernate.c3p0.timeout 5000 
　　#hibernate.c3p0.max_statements 100 
　　#hibernate.c3p0.idle_test_period 3000 
　　#hibernate.c3p0.acquire_increment 2 
　　#hibernate.c3p0.validate false 
　　在hibernate.cfg.xml文件里面加入如下的配置： 
　　<!-- 最大连接数 --> 
　　<property name="hibernate.c3p0.max_size">20</property> 
　　<!-- 最小连接数 --> 
　　<property name="hibernate.c3p0.min_size">5</property> 
　　<!-- 获得连接的超时时间,如果超过这个时间,会抛出异常，单位毫秒 --> 
　　<property name="hibernate.c3p0.timeout">120</property> 
　　<!-- 最大的PreparedStatement的数量 --> 
　　<property name="hibernate.c3p0.max_statements">100</property> 
　　<!-- 每隔120秒检查连接池里的空闲连接 ，单位是秒--> 
　　<property name="hibernate.c3p0.idle_test_period">120</property> 
　　<!-- 当连接池里面的连接用完的时候，C3P0一下获取的新的连接数 --> 
　　<property name="hibernate.c3p0.acquire_increment">2</property> 
　　<!-- 每次都验证连接是否可用 --> 
　　<property name="hibernate.c3p0.validate">true</property>

使用DBCP连接池时出现MySql 8小时断开连接的解决方法

修改l配置文件：
修改如下：

<data-sources>
        <data-source key="org.apache.struts.action.DATA_SOURCE"                             type="org.apache.commons.dbcp.BasicDataSource">
        <set-property property="driverClassName" value="com.mysql.jdbc.Driver" />
        <set-property property="description" value="wjjg" />
        <set-property property="url" value="jdbc:mysql://localhost/wjjg?useUnicode=true&characterEncoding=GB2312" />
        <set-property property="password" value="12345678" />
        <set-property property="username" value="wjjg" />
        <set-property property="maxActive" value="10" />
        <set-property property="maxIdle" value="60000" />
        <set-property property="maxWait" value="60000" />
        <set-property property="defaultAutoCommit" value="true" />
        <set-property property="defaultReadOnly" value="false" />  
        <set-property property="testOnBorrow" value="true"/>
        <set-property property="validationQuery" value="select 1"/>
</data-source>
      其中testOnBorrow和validationQuery 很重要。

testOnBorrow的意思是从数据库连接池中取得连接时，对其的有效性进行检查。

validationQuery 是用来检查的SQL语句，“select 1”执行较快，是一个不错的检测语句。

回顾

当测试人员反映到这个问题的时候，很快就锁定了Mysql八小时的问题，但是解决方案却费了我不小功夫，先是考虑到修改mysql配置文件肯定是不太合理的，弃之。

然后想了一下在一个servlet中写了个定时器，让它每两小时查一下数据库，运行了几天发现问题仍然存在，将定时器间隔时间修改为30分钟、3分钟仍然无济于事，异常照常出现，弃之。

在网上搜了一下解决方案也挺多，把

<set-property property="testOnBorrow" value="true"/>
        <set-property property="validationQuery" value="select 1"/>

写入到配置文件中，运行报错，说bean中没有这两个属性，查看了一下原来是我用的c3p0连接池，而这个解决方案是针对DBCP连接池的。

最后在配置文件中，添加了

<property name="maxIdleTime"value="1800"/>

成功解决了问题。

感悟，问题很简单，就是改个配置文件，但是遇到问题需要快速解决问题的能力，更需要认真的态度。


原文地址：http://www.itdaan.com/imgs/8/2/3/4/89/c8bf5b5d33dff4c193a68727a3a3a7f0.jpe

http://my.oschina.net/guanzhenxing/blog/213364

标签：

相关文章