这几天系统每到晚上七点到九点这段时间接收第三方订单状态推送的时候总是出现响应超时的情况,因为这几天正好是京东的活动618,因为我们和京东有合作,接收京东的订单推送到我们平台上,一开始以为是订单量太大,tomcat服务器扛不住了,就通过top、jmap、和远程jvisualvm来进行远程监控,发现服务器的cpu和内存使用情况都很低,完全不像有问题的情况,于是查看数据库的服务器状态,发现mysql服务器的cpu使用情况始终在百分之三百多,基本上可以肯定是mysql服务器出问题了,通过上网多方查找资料,基本确定是一些统计的sql语句缺少索引出了问题,通过使用show full PROCESSLIST命令不断的刷新查看到一些state是Copy to tmp table和Sending data的sql语句,然后开始一条条的进行优化,其实就是在挨个添加索引(因为之前的数据量小,所以一直没有问题,现在数据量大了,好多sql语句也就暴露出来问题需要进行优化了),加完索引后cpu使用率就明显下来了,基本上没有出现上百的情况,然后接着刷新show full PROCESSLIST命令继续进行优化。当然除了一些加索引的还有少量的通过改代码进行sql语句优化的(例如参数赋值时的数据类型必须要和数据库定义的字段类型相一致,如果是关联查询中,关联字段的数据类型和编码、长度也都要一致,否则很有可能用不上索引),主要是正确的添加索引。另外也学习了一点:mysql函数now()、current_date()都是实时变化的,mysql 不会将查询的结果放到查询缓存里,从而降低了查询缓存的命中率。
具体show full PROCESSLIST命令的state值可以通过下面网址来分析,写的很清楚:
http://www.cnblogs.com/huangye-dream/archive/2013/05/30/3108298.html
我也引用一下原文内容:
执行状态分析
Sleep状态
通常代表资源未释放,如果是通过连接池,sleep状态应该恒定在一定数量范围内
实战范例:因前端数据输出时(特别是输出到用户终端)未及时关闭数据库连接,导致因网络连接速度产生大量sleep连接,在网速出现异常时,数据库too many connections挂死。
简单解读,数据查询和执行通常只需要不到0.01秒,而网络输出通常需要1秒左右甚至更长,原本数据连接在0.01秒即可释放,但是因为前端程序未执行close操作,直接输出结果,那么在结果未展现在用户桌面前,该数据库连接一直维持在sleep状态!
Waiting for net, reading from net, writing to net
偶尔出现无妨
如大量出现,迅速检查数据库到前端的网络连接状态和流量
案例:因外挂程序,内网数据库大量读取,内网使用的百兆交换迅速爆满,导致大量连接阻塞在waiting for net,数据库连接过多崩溃
Locked状态
有更新操作锁定
通常使用innodb可以很好的减少locked状态的产生,但是切记,更新操作要正确使用索引,即便是低频次更新操作也不能疏忽。如上影响结果集范例所示。
在myisam的时代,locked是很多高并发应用的噩梦。所以mysql官方也开始倾向于推荐innodb。
Copy to tmp table
索引及现有结构无法涵盖查询条件,才会建立一个临时表来满足查询要求,产生巨大的恐怖的i/o压力。
很可怕的搜索语句会导致这样的情况,如果是数据分析,或者半夜的周期数据清理任务,偶尔出现,可以允许。频繁出现务必优化之。
Copy to tmp table通常与连表查询有关,建议逐渐习惯不使用连表查询。
实战范例:
u 某社区数据库阻塞,求救,经查,其服务器存在多个数据库应用和网站,其中一个不常用的小网站数据库产生了一个恐怖的copy to tmp table操作,导致整个硬盘i/o和cpu压力超载。Kill掉该操作一切恢复。
Sending data
Sending data并不是发送数据,别被这个名字所欺骗,这是从物理磁盘获取数据的进程,如果你的影响结果集较多,那么就需要从不同的磁盘碎片去抽取数据,
偶尔出现该状态连接无碍。
回到上面影响结果集的问题,一般而言,如果sending data连接过多,通常是某查询的影响结果集过大,也就是查询的索引项不够优化。
如果出现大量相似的SQL语句出现在show proesslist列表中,并且都处于sending data状态,优化查询索引,记住用影响结果集的思路去思考。
Storing result to query cache
出现这种状态,如果频繁出现,使用set profiling分析,如果存在资源开销在SQL整体开销的比例过大(即便是非常小的开销,看比例),则说明query cache碎片较多
使用flush query cache可即时清理,也可以做成定时任务
Query cache参数可适当酌情设置。
Freeing items
理论上这玩意不会出现很多。偶尔出现无碍
如果大量出现,内存,硬盘可能已经出现问题。比如硬盘满或损坏。
i/o压力过大时,也可能出现Free items执行时间较长的情况。
Sorting for …
和Sending data类似,结果集过大,排序条件没有索引化,需要在内存里排序,甚至需要创建临时结构排序。
其他
还有很多状态,遇到了,去查查资料。基本上我们遇到其他状态的阻塞较少,所以不关心
相关推荐
前言 压力测试过程中,如果因为资源...本文主要给大家介绍的是关于MySQL服务器 IO 100%的分析与优化方案,下面话不多说了,来一起看看详细的介绍吧 【问题】 有台MySQL 5.6.21的数据库实例以写入为主,IO %util接近100%
本文整理了一些MySQL的通用优化方法,做个简单的总结分享,旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作,至于具体的SQL优化,大部分通过加适当的索引即可达到效果,更复杂的就需要具体分析了。...
第一部 MySQL基础入门(21节) 01-老男孩运维DBA课程开班...04-linux进程占用cpu高的解决方案案例.avi 05-数据库账户权限控制多种思路及技巧.avi 06-数据库客户端安全控制策略详解.avi 07-数据库运维的核心管理思想.avi
Mysql数据库管理系统优化方案 首先,为了使一个系统更快,最重要的部分就是基础设计,不过有些东西是现有情况下 无法逾越的,比如说系统常见的瓶颈. 我所能想到的: 1:磁盘寻道能力,以高速硬盘(7200转/秒),理论上每秒寻道...
《mysql管理之道:性能调优、高可用与监控》由资深mysql专家撰写,以最新的mysql版本为基础,以构建高性能mysql服务器为核心,从故障诊断、表设计、sql优化、性能参数调优、mydumper逻辑、xtrabackup热备份与恢复、...
如何对MySQL服务器进行调优-Linux认证考试-考试大.mht MySQL状态变量解释_含笑的波浪在逐浪.mht mysql查看状态及简单优化 - 红联Linux门户-做最出色的Linux技术社区网站 - 信息资讯 - Linux企业应用 - Linux数据库...
服务器 CPU 2核心 ↑ 运存 2G ↑ 宽带 5M ↑ 服务器操作系统 Linux Centos7.6-7.9 ↑ 运行环境 宝塔面板 Nginx1.18- 1.22 PHP 7.1-7.3 MYSQL 5.6 -5.7 安装教程 1、上传源压缩包并解压到站点根目录。 2、设置网站...
局域网内若存在低速VPN环境,不可使用数据库的高可用方案,原则上不建议使用 镜像、复制等方案,但可考虑使用ServiceBroker(异步)方案。 除业务特殊要求外,原则上不使用数据库服务默认端口1443,新端口设置后...
邮件队列(后台->系统设置->邮件配置->邮件队列) 增加 邮件订单提醒 邮件队列提醒 库存提醒等增加 前台 分类 自定义搜索 增加 商品相册功能增加 会员中心 订单处 直接打印订单功能解决 后台内存和CPU占用过高的问题...
大势至共享文件审计系统分为软件版本和硬件版本:其中,硬件版本基于全面优化的高性能文件服务器专用平台,比同类配置的普通服务器性能提升至少30%(详情见下文硬件参数)。 平台架构 2U工业设计,高强度钢外壳 ...
硬件要求:CPU/内存/硬盘/宽带大小无要求,但配置越高,采集效率会更好! 其他要求:如采集目标站服务器在国内,而你的主机在国外,会产生采集效率低的问题。应尽量选择同区域的网站进行采集,美国服务器宜选择机房...
恒定切削策略是一种非常有效和快速的策略,因为它允许操作员使用非常高的进给速度并进行非常深的切削。 不断切入里面 这个操作是用来从外面铣削零件的。这意味着它可以铣一个开放的口袋或者一些岛突出的零件的顶部...
3.2 软件支持环境及开发工具 软件支持环境:WINDOS XP 操作系统 硬件环境:CPU:intel P4, 内存:512M 开发工具:mysql 4.系统总体结构 4.1 总体DFD 如下图所示人力资源管理数据流程图 4.2 功能结构 4.3 数据库结构...
开源的酒店管理系统,详细的在线预订功能。 一、功能介绍 ...硬件要求 PIII500 CPU 256M内存或更高 带宽要求 10M共享或更高 其他需求 zend optimizer 1.3以上,gd 2.0以上 ,无需register_global=on
J2ME优化压缩PNG文件 4个目标文件 内容索引:JAVA源码,综合应用,J2me游戏,PNG,图形处理 这是个J2ME控制台程序,它能剔除PNG文件中的非关键数据段,减少文件大小从而达到压缩图片的目的。而图片的质量并不会受到损失...
3.2 软件支持环境及开发工具 软件支持环境:WINDOS XP 操作系统 硬件环境:CPU:intel P4, 内存:512M 开发工具:mysql 4.系统总体结构 4.1 总体DFD 如下图所示人力资源管理数据流程图 4.2 功能结构 4.3 数据库结构...
J2ME优化压缩PNG文件 4个目标文件 内容索引:JAVA源码,综合应用,J2me游戏,PNG,图形处理 这是个J2ME控制台程序,它能剔除PNG文件中的非关键数据段,减少文件大小从而达到压缩图片的目的。而图片的质量并不会受到损失...