【个人技术经验及开发技巧分享】 【个人技术经验及开发技巧分享】
首页
  • 操作系统初识
  • JAVA基础
  • JVM
  • 开发框架
  • Redis
  • Zookeeper
  • 消息中间件
  • 持久化
  • 算法
  • 网络
  • 系统架构
  • 并发编程
  • 框架
  • 开发杂货
  • 线上排查
  • 技巧备忘
  • 部署指南
  • 版本管理
  • 工作流程
  • 发版流程
  • 友情链接
  • 网站备忘
  • 在线工具
  • 学习
  • 各种云
  • 应用下载

Louis

首页
  • 操作系统初识
  • JAVA基础
  • JVM
  • 开发框架
  • Redis
  • Zookeeper
  • 消息中间件
  • 持久化
  • 算法
  • 网络
  • 系统架构
  • 并发编程
  • 框架
  • 开发杂货
  • 线上排查
  • 技巧备忘
  • 部署指南
  • 版本管理
  • 工作流程
  • 发版流程
  • 友情链接
  • 网站备忘
  • 在线工具
  • 学习
  • 各种云
  • 应用下载
  • 开发杂货

    • ES查询压测
    • Spring Cloud Stream
    • 线上Tomcat配置参考
    • 配置Prometheus及健康检测
    • Feign支持BasicAuth验证
    • Feign远程调用
    • Hystrix单方法熔断配置
    • 邮件发送自定义Excel
    • 本地开发联调配置
    • RabbitMQ配置备忘
    • Nacos配置中心
    • Java代码杂记
    • Oracle脚本备忘
    • Mysql并发数与连接数
      • 1 概念
      • 2 项目实践
        • 2.1 线程利用率
        • 2.2 线程命中率
        • 2.3 磁盘性能指标--IOPS
    • 批量算费本地工具类
    • Apollo配置模糊查询
    • 异步任务AsyncIAE
    • 生产环境机器配置参考
  • 线上排查

  • 技巧备忘

  • 部署指南

  • 技术应用
  • 开发杂货
luoxiaofeng
2022-05-28
目录

Mysql并发数与连接数

# 1 概念

max_connections:支持的最大并发连接数
innodb_thread_concurrency:支持的最大并发执行的线程数

查看服务器的连接次数
show status like 'Connections';	##客户端每次连接都会+1
查看曾经的最大连接数
show status like 'Max_used_connections'; ##服务器曾经的最大连接数
查看当前连接的线程数
show status like 'Threads_connected'; ##服务器当前的连接数
查看当前正在运行的线程数
show status like 'threads_running'; ##服务器正在运行的连接数
查看线程缓存中的线程数
show status like 'threads_cached';			
1
2
3
4
5
6
7
8
9
10
11
12
13

IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一。
IOPS是指单位时间内系统能处理的I/O请求数量,一般以每秒处理的I/O请求数量为单位,I/O请求通常为读或写数据操作请求。

# 2 项目实践

# 2.1 线程利用率

项目中可能会遇到 MySQL: ERROR 1040: Too many connections 的异常情况,造成这种情况的一种原因是访问量过高,MySQL服务器抗不住,这个时候就要考虑增加从服务器分散读压力;另一种原因就是MySQL配置文件中max_connections值过小。

首先看下mysql的最大连接数

show variables like '%max_connections%';
1
image-20220528230613103

如果服务器的并发连接请求量比较大,建议调高此值,以增加并行连接数量,当然这建立在机器能支撑的情况下,因为如果连接数越多,介于MySQL会为每个连接提供连接缓冲区,就会开销越多的内存,所以要适当调整该值,不能盲目提高设值。

数值过小会经常出现 ERROR 1040: Too many connections 错误,可以过通配符查看当前状态的连接数量,以定夺该值的大小。

show global status like 'Max_used_connections';
1
image-20220528230848084

可以看到服务器响应的最大连接数为408,远远低于mysql服务器允许的最大连接数值。

对于mysql服务器最大连接数值的设置范围比较理想的是:服务器响应的最大连接数值占服务器上限连接数值的比例值在10%以上,如果在10%以下,说明mysql服务器最大连接上限值设置过高。

max_used_connections / max_connections * 100% = 408/1000 *100% ≈40.8%

max_used_connections / max_connections * 100% (理想值≈ 85%) 
1
2
3

如果max_used_connections跟max_connections相同 那么就是max_connections设置过低或者超过服务器负载上限了,低于10%则设置过大。

MySQL的max_connections参数用来设置最大连接(用户)数。每个连接MySQL的用户均算作一个连接。

MySQL无论如何都会保留一个用于管理员(SUPER)登录的连接,用于管理员连接数据库进行维护操作,即使当前连接数已经达到了max_connections。因此MySQL的实际最大可连接数为max_connections+1。

这个参数实际起作用的最大值(实际最大可连接数)为16384,即该参数最大值不能超过16384,即使超过也以16384为准; 增加max_connections参数的值,不会占用太多系统资源。系统资源(CPU、内存)的占用主要取决于查询的密度、效率等; 该参数设置过小的最明显特征是出现 Too many connections 错误。

设置 max_connections

方法一(这种方式在Mysql重启后就失效。)

set GLOBAL max_connections=1024;
show variables like '%max_connections%';
1
2

方法二(重启mysql服务即可。)

修改mysql配置文件my.cnf,在[mysqld]段中添加或修改max_connections值:
max_connections=1024
1
2

总体来说,该参数在服务器资源够用的情况下应该尽量设置大,以满足多个客户端同时连接的需求。否则将会出现类似 Too many connections 的错误。

# 2.2 线程命中率

连接线程相关的系统变量的设置值

show variables like 'thread%';
1
image-20220528232020942

系统被连接的次数以及当前系统中连接线程的状态值

show status like 'connections';
1
image-20220528232159063
show status like '%thread%';
1
image-20220528232247060

通过上面的命令,可以看出,系统设置了Thread Cache 池最多将缓存256 个连接线程,每个连接线程创建之初,系统分配256KB 的内存堆栈空给他。系统启动到现在共接收到客户端的连接38800次,共创建了6887个连接线程,当前有89 个连接线程处于和客户端连接的状态,而89 个连接状态的线程中只有4个是active 状态,也就是说只有4个正在处理客户端提交的请求。而在Thread Cache 池中当共Cache 了250 个连接线程。

通过系统设置和当前状态的分析,可以发现,thread_cache_size 的设置已经足够了,甚至还远大于系统的需要。所以我们可以适当减少thread_cache_size 的设置,比如设置为100或者120。根据Connections 和Threads_created 这两个系统状态值,我们还可以计算出系统新建连接连接的Thread Cache 命中率,也就是通过Thread Cache 池中取得连接线程的次数与系统接收的总连接次数的比率,如下:

Threads_Cache_Hit = (Connections - Threads_created) / Connections * 100%
1

我们可以通过上面的这个运算公式计算一下上面环境中的Thread Cache 命中率:

Thread_Cache_Hit = (38800- 6887) / 38800* 100% =82.25%
1

一般来说,当系统稳定运行一段时间之后,我们的Thread Cache 命中率应该保持在90%左右甚至更高的比率才算正常。可以看出上面环境中的Thread Cache 命中比率基本还算是正常的。

show global status like 'Thread%';
1
image-20220528232933651

如果在MySQL服务器配置文件中设置了thread_cache_size,当客户端断开之后,服务器处理此客户的线程将会缓存起来以响应下一个客户而不是销毁(前提是缓存数未达上限)。Threads_created表示创建过的线程数,如果发现Threads_created值过大的话,表明 MySQL服务器一直在创建线程,这也是比较耗资源,可以适当增加配置文件中thread_cache_size值。

# 2.3 磁盘性能指标--IOPS

image-20220528233315523

image-20220528233400302

image-20220528233422621

按1亿单在12小时内处理

100000000/12/60/60 = 2,314.814814814815 IOPS

IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数),是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量,一般以每秒处理的I/O请求数量为单位,I/O请求通常为读或写数据操作请求。

随机读写频繁的应用,如小文件存储(图片)、OLTP数据库、邮件服务器,关注随机读写性能,IOPS是关键衡量指标。 顺序读写频繁的应用,传输大量连续数据,如电视台的视频编辑,视频点播,关注连续读写性能。数据吞吐量是关键衡量指标。

IOPS和数据吞吐量适用于不同的场合

读取10000个1KB文件,用时10秒 Throught(吞吐量)=1MB/s ,IOPS=1000 追求IOPS
读取1个10MB文件,用时0.2秒 Throught(吞吐量)=50MB/s, IOPS=5 追求吞吐量
1
2
#MySQL
Oracle脚本备忘
批量算费本地工具类

← Oracle脚本备忘 批量算费本地工具类→

最近更新
01
SpringBoot
10-21
02
Spring
10-20
03
Sentinel
10-14
更多文章>
Copyright © 2022-2023 Louis | 粤ICP备2022060093号-1
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式