博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python pandas ERROR 2006 (HY000): MySQL server has gone away
阅读量:5024 次
发布时间:2019-06-12

本文共 348 字,大约阅读时间需要 1 分钟。

之前在做python pandas大数据分析的时候,在将分析后的数据存入mysql的时候报ERROR 2006 (HY000): MySQL server has gone away

原因分析:在对百万数据进行分析的时候,由于分析逻辑有点复杂,导致消耗的时候有点多,触发了mysql connect_timeout机制,当分析结束后想把结果存入mysql的时候,连接早已经断开了。

解决方案:针对一些复杂的数据分析,将数据分片处理,并在每次执行mysql插入的时候判断连接是否断开(connection.ping(True)),若断开则重新建立连接。关于分片可以采用python dask进行并发计算

转载于:https://www.cnblogs.com/dzqk/p/8237030.html

你可能感兴趣的文章
简化工作流程 10款必备的HTML5开发工具
查看>>
c++ 调用外部程序exe-ShellExecuteEx
查看>>
Java进击C#——语法之知识点的改进
查看>>
IdentityServer流程图与相关术语
查看>>
BirdNet: a 3D Object Detection Framework from LiDAR information
查看>>
icon fonts入门
查看>>
【Django】如何按天 小时等查询统计?
查看>>
HDU2191(多重背包)
查看>>
测试用例(一)
查看>>
【转】 mysql反引号的使用(防冲突)
查看>>
邮件中的样式问题
查看>>
AJAX 状态值与状态码详解
查看>>
php面向对象编程(oop)基础知识示例解释
查看>>
1.在数组中找到与给定总和的配对
查看>>
树的子结构
查看>>
关于根据Build Platform或者OS 加载x86或者x64 dll的问题
查看>>
程序员高效开发的几个技巧
查看>>
js-权威指南学习笔记19.2
查看>>
hexo 搭建博客
查看>>
关于 UIWebView 几个高级用法
查看>>