Python pandas ERROR 2006 (HY000): MySQL server has gone away

时间:2022-12-12 00:28:14

之前在做python pandas大数据分析的时候,在将分析后的数据存入mysql的时候报ERROR 2006 (HY000): MySQL server has gone away

原因分析:在对百万数据进行分析的时候,由于分析逻辑有点复杂,导致消耗的时候有点多,触发了mysql connect_timeout机制,当分析结束后想把结果存入mysql的时候,连接早已经断开了。

解决方案:针对一些复杂的数据分析,将数据分片处理,并在每次执行mysql插入的时候判断连接是否断开(connection.ping(True)),若断开则重新建立连接。关于分片可以采用python dask进行并发计算