Mysql调优理论篇

# 案例
# all：显示所有性能信息
show profile all for query n

# block io：显示块io操作的次数
show  profile block io for query n

# context switches：显示上下文切换次数，被动和主动
show profile context switches for query n

# cpu：显示用户cpu时间、系统cpu时间
show profile cpu for query n

# IPC：显示发送和接受的消息数量
show profile ipc for query n

# page faults：显示页错误数量
show profile page faults for query n

# source：显示源码中的函数名称与位置
show profile source for query n

# swaps：显示swap的次数
show profile swaps for query n

-- 事件表：当前语句、历史语句、长语句历史、聚合后的摘要summary
-- 其中，summary表还可以根据帐号(account),主机(host),程序(program),
-- 线程(thread),用户(user)和全局(global)再进行细分)
show tables like '%statement%';

-- 等待事件记录表，与语句事件类型的相关记录表类似：
show tables like '%wait%';

-- 阶段事件记录表，记录语句执行的阶段事件的表
show tables like '%stage%';

-- 事务事件记录表，记录事务相关的事件的表
show tables like '%transaction%';

-- 监控文件系统层调用的表
show tables like '%file%';

-- 监视内存使用的表
show tables like '%memory%';

-- 动态对performance_schema进行配置的配置表
show tables like '%setup%';

-- 查看performance_schema的属性
mysql> SHOW VARIABLES LIKE 'performance_schema';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| performance_schema | ON    |
+--------------------+-------+
1 row in set (0.01 sec)

-- 在配置文件中修改performance_schema的属性值，on表示开启，off表示关闭
[mysqld]
performance_schema=ON

-- 切换数据库
use performance_schema;

-- 查看当前数据库下的所有表,会看到有很多表存储着相关的信息
show tables;

-- 可以通过show create table tablename来查看创建表的时候的表结构
mysql> show create table setup_consumers;
+-----------------+---------------------------------
| Table           | Create Table                    
+-----------------+---------------------------------
| setup_consumers | CREATE TABLE `setup_consumers` (
  `NAME` varchar(64) NOT NULL,                      
  `ENABLED` enum('YES','NO') NOT NULL               
) ENGINE=PERFORMANCE_SCHEMA DEFAULT CHARSET=utf8 |  
+-----------------+---------------------------------
1 row in set (0.00 sec) 

# 是否在mysql server启动时就开启events_statements_current表的记录功能(该表记录当前的语句事件信息)，
# 启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新setup_consumers配置
# 表中的events_statements_current配置项，默认值为TRUE
performance_schema_consumer_events_statements_current=TRUE

# 与performance_schema_consumer_events_statements_current选项类似，
# 但该选项是用于配置是否记录语句事件短历史信息，默认为TRUE
performance_schema_consumer_events_statements_history=TRUE

# 与performance_schema_consumer_events_statements_current选项类似，
# 但该选项是用于配置是否记录语句事件长历史信息，默认为FALSE
performance_schema_consumer_events_stages_history_long=FALSE

# 除了statement(语句)事件之外，还支持：wait(等待)事件、state(阶段)事件、transaction(事务)事件，
# 他们与statement事件一样都有三个启动项分别进行配置，但这些等待事件默认未启用，
# 如果需要在MySQL Server启动时一同启动，则通常需要写进my.cnf配置文件中

# 是否在MySQL Server启动时就开启全局表（如：
# mutex_instances、rwlock_instances、cond_instances、file_instances、
# users、hostsaccounts、socket_summary_by_event_name、file_summary_by_instance
# 等大部分的全局对象计数统计和事件汇总统计信息表 ）的记录功能，
# 启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新全局配置项,默认值为TRUE
performance_schema_consumer_global_instrumentation=TRUE

# 是否在MySQL Server启动时就开启events_statements_summary_by_digest 表的记录功能，
# 启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新digest配置项,默认值为TRUE
performance_schema_consumer_statements_digest=TRUE

# 是否在MySQL Server启动时就开启
performance_schema_consumer_thread_instrumentation=TRUE

# events_xxx_summary_by_yyy_by_event_name表的记录功能，
# 启动之后也可以在setup_consumers表中使用UPDATE语句进行动态更新线程配置项,默认值为TRUE

performance_schema_instrument[=name]
# 是否在MySQL Server启动时就启用某些采集器，由于instruments配置项多达数千个，
# 所以该配置项支持key-value模式，还支持%号进行通配等，如下:
# [=name]可以指定为具体的Instruments名称（但是这样如果有多个需要指定的时候，就需要使用该选项多次），
# 也可以使用通配符，可以指定instruments相同的前缀+通配符，
# 也可以使用%代表所有的instruments指定开启单个instruments
performance-schema-instrument='instrument_name=value'

# 使用通配符指定开启多个instruments
performance-schema-instrument='wait/synch/cond/%=COUNTED'

# 开关所有的instruments
performance-schema-instrument='%=ON'
performance-schema-instrument='%=OFF'

# 注意，这些启动选项要生效的前提是，需要设置performance_schema=ON。
# 另外，这些启动选项虽然无法使用show variables语句查看，
# 但我们可以通过setup_instruments和setup_consumers表查询这些选项指定的值。

# 查询是否开启运行时事件记录功能
show variables like '%performance_schema%';
# 重要的属性解释
# 控制performance_schema功能的开关，要使用MySQL的performance_schema，需要在mysqld启动时启用，以启用事件收集功能，该参数
# 在5.7.x之前支持performance_schema的版本中默认关闭，5.7.x版本开始默认开启
# 注意：如果mysqld在初始化performance_schema时发现无法分配任何相关的内部缓冲区，则performance_schema将自动禁用，并将performance_schema设置为OFF
performance_schema=ON

# 控制events_statements_summary_by_digest表中的最大行数。如果产生的语句摘要信息超过此最大值，
# 便无法继续存入该表，此时performance_schema会增加状态变量
performance_schema_digests_size=10000

# 控制events_statements_history_long表中的最大行数，
# 该参数控制所有会话在events_statements_history_long表中能够存放的
# 总事件记录数，超过这个限制之后，最早的记录将被覆盖全局变量，
# 只读变量，整型值，5.6.3版本引入 * 5.6.x版本中，5.6.5及其之前的版
# 本默认为10000，5.6.6及其之后的版本默认值为-1，通常情况下，
# 自动计算的值都是10000 * 5.7.x版本中，默认值为-1，通常情况下，自动
# 计算的值都是10000
performance_schema_events_statements_history_long_size=10000

# 控制events_statements_history表中单个线程（会话）的最大行数，该参数控制单个会话在
# events_statements_history表中能够存放的事件记录数，超过这个限制之后，单个会话最早的记录将被覆盖
# 全局变量，只读变量，整型值，5.6.3版本引入 * 5.6.x版本中，5.6.5及其之前的版本默认为10，5.6.6及其之后的版本默认值为-1，
# 通常情况下，自动计算的值都是10 * 5.7.x版本中，默认值为-1，通常情况下，自动计算的值都是10
# 除了statement(语句)事件之外，wait(等待)事件、state(阶段)事件、transaction(事务)事件，
# 他们与statement事件一样都有三个参数分别进行存储限制配置，有兴趣的同学自行研究，这里不再赘述
performance_schema_events_statements_history_size=10

# 用于控制标准化形式的SQL语句文本在存入performance_schema时的限制长度，
# 该变量与max_digest_length变量相关(max_digest_length变量含义请自行查阅相关资料)全局变量，
# 只读变量，默认值1024字节，整型值，取值范围0~1048576
performance_schema_max_digest_length=1024

# 控制存入events_statements_current，events_statements_history和events_statements_history_long语句事件表中的
# SQL_TEXT列的最大SQL长度字节数。 超出系统变量performance_schema_max_sql_text_length的部分将被丢弃，不会记录，一般情况
# 下不需要调整该参数，除非被截断的部分与其他SQL比起来有很大差异
# 全局变量，只读变量，整型值，默认值为1024字节，取值范围为0~1048576，5.7.6版本引入
# 降低系统变量performance_schema_max_sql_text_length值可以减少内存使用，但如果汇总的SQL中，被截断部分有较大差异，会导致没
# 有办法再对这些有较大差异的SQL进行区分。 增加该系统变量值会增加内存使用，但对于汇总SQL来讲可以更精准地区分不同的部分。
performance_schema_max_sql_text_length=1024

/*
performance_timers表中记录了server中有哪些可用的事件计时器
字段解释：
	timer_name:表示可用计时器名称，CYCLE是基于CPU周期计数器的定时器
	timer_frequency:表示每秒钟对应的计时器单位的数量,CYCLE计时器的换算值与CPU的频率相关、
	timer_resolution:计时器精度值，表示在每个计时器被调用时额外增加的值
	timer_overhead:表示在使用定时器获取事件时开销的最小周期值
*/
select * from performance_timers;

/*
setup_timers表中记录当前使用的事件计时器信息
字段解释：
	name:计时器类型，对应某个事件类别
	timer_name:计时器类型名称
*/
select * from setup_timers;

/*
setup_consumers表中列出了consumers可配置列表项
字段解释：
	NAME：consumers配置名称
	ENABLED：consumers是否启用，有效值为YES或NO，此列可以使用UPDATE语句修改。
*/
select * from setup_consumers;

/*
setup_instruments 表列出了instruments 列表配置项，即代表了哪些事件支持被收集：
字段解释：
	NAME：instruments名称，instruments名称可能具有多个部分并形成层次结构
	ENABLED：instrumetns是否启用，有效值为YES或NO，此列可以使用UPDATE语句修改。如果设置为NO，则这个instruments不会被执行，
	不会产生任何的事件信息
	TIMED：instruments是否收集时间信息，有效值为YES或NO，此列可以使用UPDATE语句修改，如果设置为NO，则这个instruments不会收
	集时间信息
*/
SELECT * FROM setup_instruments;

/*
setup_actors表的初始内容是匹配任何用户和主机，因此对于所有前台线程，默认情况下启用监视和历史事件收集功能
字段解释：
	HOST：与grant语句类似的主机名，一个具体的字符串名字，或使用“％”表示“任何主机”
	USER：一个具体的字符串名称，或使用“％”表示“任何用户”
	ROLE：当前未使用，MySQL 8.0中才启用角色功能
	ENABLED：是否启用与HOST，USER，ROLE匹配的前台线程的监控功能，有效值为：YES或NO
	HISTORY：是否启用与HOST， USER，ROLE匹配的前台线程的历史事件记录功能，有效值为：YES或NO
*/
SELECT * FROM setup_actors;

/*
setup_objects表控制performance_schema是否监视特定对象。默认情况下，此表的最大行数为100行。
字段解释：
	OBJECT_TYPE：instruments类型，有效值为：“EVENT”（事件调度器事件）、“FUNCTION”（存储函数）、“PROCEDURE”（存储过程）、
	“TABLE”（基表）、“TRIGGER”（触发器），TABLE对象类型的配置会影响表I/O事件（wait/io/table/sql/handler instrument）和
	表锁事件（wait/lock/table/sql/handler instrument）的收集
	OBJECT_SCHEMA：某个监视类型对象涵盖的数据库名称，一个字符串名称，或“％”(表示“任何数据库”)
	OBJECT_NAME：某个监视类型对象涵盖的表名，一个字符串名称，或“％”(表示“任何数据库内的对象”)
	ENABLED：是否开启对某个类型对象的监视功能，有效值为：YES或NO。此列可以修改
	TIMED：是否开启对某个类型对象的时间收集功能，有效值为：YES或NO，此列可以修改
*/
SELECT * FROM setup_objects;

/*
threads表对于每个server线程生成一行包含线程相关的信息，
字段解释：
	THREAD_ID：线程的唯一标识符（ID）
	NAME：与server中的线程检测代码相关联的名称(注意，这里不是instruments名称)
	TYPE：线程类型，有效值为：FOREGROUND、BACKGROUND。分别表示前台线程和后台线程
	PROCESSLIST_ID：对应INFORMATION_SCHEMA.PROCESSLIST表中的ID列。
	PROCESSLIST_USER：与前台线程相关联的用户名，对于后台线程为NULL。
	PROCESSLIST_HOST：与前台线程关联的客户端的主机名，对于后台线程为NULL。
	PROCESSLIST_DB：线程的默认数据库，如果没有，则为NULL。
	PROCESSLIST_COMMAND：对于前台线程，该值代表着当前客户端正在执行的command类型，如果是sleep则表示当前会话处于空闲状态
	PROCESSLIST_TIME：当前线程已处于当前线程状态的持续时间（秒）
	PROCESSLIST_STATE：表示线程正在做什么事情。
	PROCESSLIST_INFO：线程正在执行的语句，如果没有执行任何语句，则为NULL。
	PARENT_THREAD_ID：如果这个线程是一个子线程（由另一个线程生成），那么该字段显示其父线程ID
	ROLE：暂未使用
	INSTRUMENTED：线程执行的事件是否被检测。有效值：YES、NO 
	HISTORY：是否记录线程的历史事件。有效值：YES、NO * 
	THREAD_OS_ID：由操作系统层定义的线程或任务标识符（ID）：
*/
select * from threads

-- 1、哪类的SQL执行最多？
SELECT DIGEST_TEXT,COUNT_STAR,FIRST_SEEN,LAST_SEEN FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC

-- 2、哪类SQL的平均响应时间最多？
SELECT DIGEST_TEXT,AVG_TIMER_WAIT FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC

-- 3、哪类SQL排序记录数最多？
SELECT DIGEST_TEXT,SUM_SORT_ROWS FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC

-- 4、哪类SQL扫描记录数最多？
SELECT DIGEST_TEXT,SUM_ROWS_EXAMINED FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC

-- 5、哪类SQL使用临时表最多？
SELECT DIGEST_TEXT,SUM_CREATED_TMP_TABLES,SUM_CREATED_TMP_DISK_TABLES FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC

-- 6、哪类SQL返回结果集最多？
SELECT DIGEST_TEXT,SUM_ROWS_SENT FROM events_statements_summary_by_digest ORDER BY COUNT_STAR DESC

-- 7、哪个表物理IO最多？
SELECT file_name,event_name,SUM_NUMBER_OF_BYTES_READ,SUM_NUMBER_OF_BYTES_WRITE FROM file_summary_by_instance ORDER BY SUM_NUMBER_OF_BYTES_READ + SUM_NUMBER_OF_BYTES_WRITE DESC

-- 8、哪个表逻辑IO最多？
SELECT object_name,COUNT_READ,COUNT_WRITE,COUNT_FETCH,SUM_TIMER_WAIT FROM table_io_waits_summary_by_table ORDER BY sum_timer_wait DESC

-- 9、哪个索引访问最多？
SELECT OBJECT_NAME,INDEX_NAME,COUNT_FETCH,COUNT_INSERT,COUNT_UPDATE,COUNT_DELETE FROM table_io_waits_summary_by_index_usage ORDER BY SUM_TIMER_WAIT DESC

-- 10、哪个索引从来没有用过？
SELECT OBJECT_SCHEMA,OBJECT_NAME,INDEX_NAME FROM table_io_waits_summary_by_index_usage WHERE INDEX_NAME IS NOT NULL AND COUNT_STAR = 0 AND OBJECT_SCHEMA <> 'mysql' ORDER BY OBJECT_SCHEMA,OBJECT_NAME;

-- 11、哪个等待事件消耗时间最多？
SELECT EVENT_NAME,COUNT_STAR,SUM_TIMER_WAIT,AVG_TIMER_WAIT FROM events_waits_summary_global_by_event_name WHERE event_name != 'idle' ORDER BY SUM_TIMER_WAIT DESC

-- 12-1、剖析某条SQL的执行情况，包括statement信息，stege信息，wait信息
SELECT EVENT_ID,sql_text FROM events_statements_history WHERE sql_text LIKE '%count(*)%';

-- 12-2、查看每个阶段的时间消耗
SELECT event_id,EVENT_NAME,SOURCE,TIMER_END - TIMER_START FROM events_stages_history_long WHERE NESTING_EVENT_ID = 1553;

-- 12-3、查看每个阶段的锁等待情况
SELECT event_id,event_name,source,timer_wait,object_name,index_name,operation,nesting_event_id FROM events_waits_history_longWHERE nesting_event_id = 1553;

mysql> explain select inet_aton('1.1.1.1')\G
*************************** 1. row ***************************
           id: 1
  select_type: SIMPLE
        table: NULL
   partitions: NULL
         type: NULL
possible_keys: NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: NULL
     filtered: NULL
        Extra: No tables used
1 row in set, 1 warning (0.00 sec)

-- sample:简单的查询，不包含子查询和union
explain select * from emp;

-- primary:查询中若包含任何复杂的子查询，最外层查询则被标记为Primary
explain select staname,ename supname from (select ename staname,mgr from emp) t join emp on t.mgr=emp.empno ;

-- union:若第二个select出现在union之后，则被标记为union
explain select * from emp where deptno = 10 union select * from emp where sal >2000;

-- dependent union:跟union类似，此处的depentent表示union或union all联合而成的结果会受外部表影响
explain select * from emp e where e.empno  in ( select empno from emp where deptno = 10 union select empno from emp where sal >2000)

-- union result:从union表获取结果的select
explain select * from emp where deptno = 10 union select * from emp where sal >2000;

-- subquery:在select或者where列表中包含子查询
explain select * from emp where sal > (select avg(sal) from emp) ;

-- dependent subquery:subquery的子查询要受到外部表查询的影响
explain select * from emp e where e.deptno in (select distinct deptno from dept);

-- DERIVED: from子句中出现的子查询，也叫做派生类，
explain select staname,ename supname from (select ename staname,mgr from emp) t join emp on t.mgr=emp.empno ;

-- UNCACHEABLE SUBQUERY：表示使用子查询的结果不能被缓存
 explain select * from emp where empno = (select empno from emp where deptno=@@sort_buffer_size);
 
-- uncacheable union:表示union的查询结果不能被缓存：sql语句未验证

-- all:全表扫描，一般情况下出现这样的sql语句而且数据量比较大的话那么就需要进行优化。
explain select * from emp;

-- index：全索引扫描这个比all的效率要好，主要有两种情况，一种是当前的查询时覆盖索引，
-- 即我们需要的数据在索引中就可以索取，或者是使用了索引进行排序，这样就避免数据的重排序
explain  select empno from emp;

-- range：表示利用索引查询的时候限制了范围，在指定范围内进行查询，
-- 这样避免了index的全索引扫描，适用的操作符： =, <>, >, >=, <, <=, IS NULL, BETWEEN, LIKE, or IN() 
explain select * from emp where empno between 7000 and 7500;

-- index_subquery：利用索引来关联子查询，不再扫描全表
explain select * from emp where emp.job in (select job from t_job);

-- unique_subquery:该连接类型类似与index_subquery,使用的是唯一索引
explain select * from emp e where e.deptno in (select distinct deptno from dept);
 
-- index_merge：在查询过程中需要多个索引组合使用，没有模拟出来

-- ref_or_null：对于某个字段即需要关联条件，也需要null值的情况下，查询优化器会选择这种访问方式
explain select * from emp e where  e.mgr is null or e.mgr=7369;

-- fulltext：全文索引

-- ref：使用了非唯一性索引进行数据的查找
create index idx_3 on emp(deptno);
explain select * from emp e,dept d where e.deptno =d.deptno;

-- eq_ref：使用唯一性索引进行数据查找
explain select * from emp,emp2 where emp.empno = emp2.empno;

-- const：这个表至多有一个匹配行，
explain select * from emp where empno = 7369;
 
-- system：表只有一行记录（等于系统表），这是const类型的特例，平时不会出现

-- using filesort:说明mysql无法利用索引进行排序，只能利用排序算法进行排序，会消耗额外的位置
explain select * from emp order by sal;

-- using temporary:建立临时表来保存中间结果，查询完成之后把临时表删除
explain select ename,count(*) from emp where deptno = 10 group by ename;

-- using index:这个表示当前的查询时覆盖索引的，直接从索引中读取数据，
-- 而不用访问数据表。如果同时出现using where 表名索引被用来执行索引键值的查找，
-- 如果没有，表面索引被用来读取数据，而不是真的查找
explain select deptno,count(*) from emp group by deptno limit 10;

-- using where:使用where进行条件过滤
explain select * from t_user where id = 1;

-- using join buffer:使用连接缓存，情况没有模拟出来

-- impossible where：where语句的结果总是false
explain select * from emp where empno = 7469;

SET FOREIGN_KEY_CHECKS=0;
DROP TABLE IF EXISTS `itdragon_order_list`;
CREATE TABLE `itdragon_order_list` (
  `id` bigint(11) NOT NULL AUTO_INCREMENT COMMENT '主键id，默认自增长',
  `transaction_id` varchar(150) DEFAULT NULL COMMENT '交易号',
  `gross` double DEFAULT NULL COMMENT '毛收入(RMB)',
  `net` double DEFAULT NULL COMMENT '净收入(RMB)',
  `stock_id` int(11) DEFAULT NULL COMMENT '发货仓库',
  `order_status` int(11) DEFAULT NULL COMMENT '订单状态',
  `descript` varchar(255) DEFAULT NULL COMMENT '客服备注',
  `finance_descript` varchar(255) DEFAULT NULL COMMENT '财务备注',
  `create_type` varchar(100) DEFAULT NULL COMMENT '创建类型',
  `order_level` int(11) DEFAULT NULL COMMENT '订单级别',
  `input_user` varchar(20) DEFAULT NULL COMMENT '录入人',
  `input_date` varchar(20) DEFAULT NULL COMMENT '录入时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=10003 DEFAULT CHARSET=utf8;

INSERT INTO itdragon_order_list VALUES ('10000', '81X97310V32236260E', '6.6', '6.13', '1', '10', 'ok', 'ok', 'auto', '1', 'itdragon', '2017-08-28 17:01:49');
INSERT INTO itdragon_order_list VALUES ('10001', '61525478BB371361Q', '18.88', '18.79', '1', '10', 'ok', 'ok', 'auto', '1', 'itdragon', '2017-08-18 17:01:50');
INSERT INTO itdragon_order_list VALUES ('10002', '5RT64180WE555861V', '20.18', '20.17', '1', '10', 'ok', 'ok', 'auto', '1', 'itdragon', '2017-09-08 17:01:49');

select * 
from itdragon_order_list 
where transaction_id = "81X97310V32236260E";

-- 通过查看执行计划发现type=all,需要进行全表扫描
explain 
select * 
from itdragon_order_list 
where transaction_id = "81X97310V32236260E";

-- 优化一、为transaction_id创建唯一索引
create unique index idx_order_transaID on itdragon_order_list (transaction_id);

-- 当创建索引之后，唯一索引对应的type是const，通过索引一次就可以找到结果，普通索引对应的type是ref，表示非唯一性索引赛秒，找到值还要进行扫描，直到将索引文件扫描完为止，显而易见，const的性能要高于ref
 explain 
 select * 
 from itdragon_order_list 
 where transaction_id = "81X97310V32236260E";
 
 -- 优化二、使用覆盖索引，查询的结果变成 transaction_id,当extra出现using index,表示使用了覆盖索引
 explain 
 select transaction_id 
 from itdragon_order_list 
 where transaction_id = "81X97310V32236260E";

-- 创建复合索引
create index idx_order_levelDate on itdragon_order_list (order_level,input_date);

-- 创建索引之后发现跟没有创建索引一样，都是全表扫描，都是文件排序
explain 
select * 
from itdragon_order_list 
order by order_level,input_date;

-- 可以使用force index强制指定索引
explain 
select * 
from itdragon_order_list 
force index(idx_order_levelDate) 
order by order_level,input_date;

-- 其实给订单排序意义不大，给订单级别添加索引意义也不大
-- 因此可以先确定order_level的值，然后再给input_date排序
explain 
select * 
from itdragon_order_list 
where order_level=3 
order by input_date;