SQL语句调优相关方法

时间:2023-03-09 07:26:03
SQL语句调优相关方法

SQL语句慢的原因:
1,数据库表的统计信息不完整
2,like查询估计不准确
调优方法:
1,查看表中数据的条数;
2, explain analyze target_SQL;
查看SQL执行计划;
比较SQL总执行时间和各个部分actual time的大小
可以更改SQL的执行顺序
可以执行部分SQL语句逐步分析慢的地方;
有问题的SQL,row估计有问题。
函数调整为比较常量
postgresql join_colapse

1 PostgreSQL SQL的性能调试方法--借助统计信息

在数据库应用开发中,速度慢的SQL比比皆是。很多速度很慢都是SQL写的不好,效率不高。比如无用的循环查询,判断,
不必要的子查询,写的SQL用不上索引等等。特别是数据量很大的时候,很是头疼。
几千万条数据的表的查询,由于子查询过多,要几个小时才执行完。显然是不符合要求的。

要解决这个速度问题 ,我们首先最主要的是要找到那些SQL很慢,或者SQL中的那部分很慢。怎样寻找速度很慢的SQL,我 们 可以借助系 统 提供的 统计 信息功能来 查 找。
   1.pg_stat_user_functions :SQL文中用了存储过 程或者函数的情况,可以通 过这 个 统计 信息view来查看。
    funcid, schemaname, funcname :函数的ID
    calls : 执行次数
    total_time : 函数执行的总时间,单位毫秒。
    self_time : 不包含其他函数的执 行 时间 的自己本身的 执 行 时间 。
例子:     
=# SELECT * FROM pg_stat_user_functions;
  funcid | schemaname | funcname | calls | total_time | self_time
--------+------------+----------+-------+------------+-----------
  16434 | public     | proc_1   |     4 |        185 |       185
  16738 | public     | proc_2   |     5 |         91 |        91
  16741 | public     | proc_3   |     2 |         76 |         5
(3 rows)
从这里面我们可以看到proc_3自己自身执行的时间相对于总的时间来说耗费的时间非常少,
可以初步确定速度慢的函数不是proc_3。因此我就需要去查询其他函数的执行时间。
这个机能系统默认是没有的,需要在postgresql.conf 里面设置。默认是none。需要改为pl或者all。
 track_functions = pl # none, pl, all
2.pg_stat_statements :contrib/pg_stat_statements模块下的机制,系统默认也是没有的。
    userid : 执行SQL的用户  
    dbid : 数据库 ID
    query : SQL文
    calls : 执行次数
    total_time : 执行总时间,单位微秒。
    rows : 处理行数。返回的行数或者修改的行数。
    
例子:     
SELECT query, calls, total_time, rows
     FROM pg_stat_statements ORDER BY total_time DESC LIMIT 3;
-[ RECORD 1 ]------------------------------------------------------------
query      | UPDATE branches SET bbalance = bbalance + $1 WHERE bid = $2;
calls      | 3000
total_time | 35.9654100
rows       | 3000
      
这个功能也是需要在postgresql.conf 里面设置。
    shared_preload_libraries = 'pg_stat_statements'
    custom_variable_classes = 'pg_stat_statements'
通过上面的两种方法我们就可以找到那些SQL或者函数很慢,这样就能够对症下药了,
要不然真是找不原因,很耗费时间。

2 PostgreSQL SQL的性能调试方法--数据库log分析

1.log_min_duration_statement

从log找出执行超过一定时间的 SQL。postgresql.conf配置文件设置 log_min_duration_statement参数的值。
这个参数是设置执行最小多长时间的SQL输出到log。
例如输出执行超过 3秒的SQL:log_min_duration_statement = 3s
这个参数设置为 -1是无效。 设置为 0是输出所有的SQL,但这样会增加服务器负担,一般不要设置太低的值。
这样设置后输出的SQL例子如下:
LOG: duration: 3016.724 ms statement: SELECT count(*)
   FROM pg_class
 
2.contrib/auto_explain功能。Postgres8.4后增加的功能。
   默认这个功能不能使用的,需要在postgresql.conf 配置文件中设置以下参数。
       shared_preload_libraries = 'auto_explain'
       custom_variable_classes = 'auto_explain'
       auto_explain.log_min_duration = 4s
    这样系统在执行的时候如果遇到超过4秒的SQL的话,会自动把执行计划输出到log。这样就直接看log就更加容易找到问题点。

执行计划例子:

LOG:  duration: 4016.724 ms  plan:
    Aggregate  (cost=14.90..14.91 rows=1 width=0)
     -> Hash Join  (cost=3.91..14.70 rows=81 width=0)
         Hash Cond: (pg_class.oid = pg_index.indrelid)
          -> Seq Scan on pg_class  (cost=0.00..8.27 rows=227 width=4)
          -> Hash  (cost=2.90..2.90 rows=81 width=4)
                -> Seq Scan on pg_index  (cost=0.00..2.90 rows=81 width=4)
                     Filter: indisunique
    STATEMENT:  SELECT count(*)
              FROM pg_class, pg_index
             WHERE oid = indrelid AND indisunique;
 
3.log统计分析工具(PostgreSQL log analyzer)

比较有名是pgFouine 。这个工具是自动分析指定的log,然后生成HTML报表。把SQL log图像化后更加直观。

可以统计分析最慢的SQL,调用最多的SQL,花费时间最多的SQL等等分类。这样我们就很容易找到速度慢的SQL。再加以改善。

3 PostgreSQL SQL的性能调试方法--查看执行计划

利用pgAdmin中的自带的 查看 执行计划工具。 我 们 用的最多的就是 这 个工具, 这 个工具因 为 不需要其他什么配置或安装。
这个工具也是PostgreSQL主打的调试工具。
1.下面简单介绍一下执行计划结果的读法
①Explaining → Widths  
 =# EXPLAIN SELECT oid FROM pg_proc;
QUERY PLAN
------------------------------------------
Seq Scan on pg_proc
(cost=0.00..87.47 rows=1747 width=4)
查询结果的所有字段的总宽度。这个参数并不是关键指标。每个字段的宽度定义如下:
   text [ n 文字]:n+4
  varchar(n):n+1
  char(n):n+1
    boolean:1
   bigint :8
   integer:4
 
②Explaining → Rows
   预测的行数。与实际的行数可能有出入,经常vacuum或者analyze的话,这个值和实际值将更加接近。
 
③Explaining → Cost
 cost是比较重要的指标。例子中的cost=0.00..87.47有两个部分,启动时间(startup)=0.00 和总时间(total)=87.47。单位是毫秒。这个指标也只是预测值。
启动时间也有解释为找到符合条件的第一行所花的时间。
 
④Explaining → Explain Analyze
   想知道实际的执行时候的执行计划的话,用这个命令。
=# EXPLAIN ANALYZE SELECT oid FROM pg_proc;
QUERY PLAN
------------------------------------------
Seq Scan on pg_proc
(cost=0.00..87.47 rows=1747 width=4)
(actual time=0.077..17.082 rows=1747 loops=1)
Total runtime: 20.125 ms
  loops:循环的次数。
  Total runtime:总的时间
 
⑤Explaining → 执行计划运算类型
    Seq Scan:扫描表。无启动时间。
    Index Scan:索引扫描。无启动时间。
    Bitmap Index Scan:索引扫描。有启动时间。
    Bitmap Heap Scan:索引扫描。有启动时间。
    Subquery Scan:子查询。无启动时间。
    Tid Scan:ctid = …条件。无启动时间。
    Function Scan:函数扫描。无启动时间。
    Nested Loop:循环结合。无启动时间。
    Merge Join:合并结合。有启动时间。
    Hash Join:哈希结合。有启动时间。
    Sort:排序,ORDER BY操作。有启动时间。
    Hash:哈希运算。有启动时间。
    Result:函数扫描,和具体的表无关。无启动时间。
    Unique:DISTINCT,UNION操作。有启动时间。
    Limit:LIMIT,OFFSET操作。有启动时间。
    Aggregate:count, sum,avg, stddev集约函数。有启动时间。
    Group:GROUP BY分组操作。有启动时间。
    Append:UNION操作。无启动时间。
    Materialize:子查询。有启动时间。
    SetOp:INTERCECT,EXCEPT。有启动时间。

下面是一个hash,hash join例子:
=# EXPLAIN SELECT relname, nspname FROM pg_class JOIN
pg_namespace ON (pg_class.relnamespace=pg_namespace.oid);
QUERY PLAN
------------------------------------------------------------------------
Hash Join (cost=1.06..10.71 rows=186 width=128)
  Hash Cond: ("outer".relnamespace = "inner".oid)
     -> Seq Scan on pg_class (cost=0.00..6.86 rows=186 width=68)
     -> Hash (cost=1.05..1.05 rows=5 width=68)
        -> Seq Scan on pg_namespace (cost=0.00..1.05 rows=5 width=68)
两个表间 INNER JOIN和LEFT OUTER JOIN 连接的时候,这个运算是很常用的。 这个运算是先把外表中关联条件部分做一个哈希表,然后去和内部表关联。
下面是一个Nested Loop例子:
=# SELECT * FROM pg_foo JOIN pg_namespace
ON (pg_foo.pronamespace=pg_namespace.oid);
QUERY PLAN
----------------------------------------------------------------------
Nested Loop (cost=1.05..39920.17 rows=5867 width=68)
   Join Filter: ("outer".pronamespace = "inner".oid)
      -> Seq Scan on pg_foo (cost=0.00..13520.54 rows=234654 width=68)
        -> Materialize (cost=1.05..1.10 rows=5 width=4)
        -> Seq Scan on pg_namespace (cost=0.00..1.05 rows=5 width=4)

两个表间 INNER JOIN和LEFT OUTER JOIN 连接的时候,这个运算是很常用的。这个运算是扫描外表,然后去内部找所符合条件的记录。
哈希运算要做一张哈希表,如果外部的tb1的数据不是特别多的时候是比较快的。如果tb1相当大,这时候做一张可能花时候反而更多。

因为做的哈希表内存装不下,需要输出到硬盘,这样IO读取多了,速度就低下了。
合并查询对外部和内部表都要用两个表的关联字段各自做一张,并且还要排序。
如果是已经拍好序的,速度是很快。这中运算有数据特大的时候

还有可能不如循环结合快。
因此我们有个别地方可能直接用系统默认的执行计划的话反而很慢。如果是那样的话,可以尝试强制改变执行计划。禁止使用hash结合或合并结合。

这个要具体问题具体分析。
2. 强制改 变执行计划
   有时候我们不想用系统默认的执行计划。这时候就需要自己 强制控制 执行计划。
   禁止某种运算的SQL语法: SET enable_运算 类型 = off;   //或者=false
   开启某种运算的SQL语 法:SET enable_运算 = on;   //或者=true
   执行计划可以改 变 的运算方法如下:
   – enable_bitmapscan
   – enable_hashagg
   – enable_hashjoin
   – enable_indexscan
   – enable_mergejoin
   – enable_nestloop
   – enable_seqscan
   – enable_sort
   – enable_tidscan
   如果我们只想改变当前要执行的SQL的执行计划,而不想影响其他的SQL的话。在设置SQL里面加一个关键字session即可。
   例子: set session enable_hashjoin=false   //禁止使用哈希结合算法
 
通过查看执行计划,我们就能够找到SQL中的哪部分比较慢,或者说花费时间多。然后重点分析哪部分的逻辑,
比如减少循环查询,或者强制改变执行计划。