蝙蝠岛资源网

Postgresql 如何清理WAL日志
数据库 2024/12/23 佚名
2 0
蝙蝠岛资源网 Design By www.hbtsch.com

WAL是Write Ahead Log的简写，和oracle的redo日志类似，存放在$PGDATA/pg_xlog中，10版本以后在$PGDATA/pg_wal目录.

如果开启了归档，在目录archive_status下会有一些文件，以ready结尾的，表示可以归档但还没有归档，done结尾的表示已经归档。

和WAL日志数量相关的几个参数：

wal_keep_segments = 300     # in logfile segments, 16MB each; 0 disables 
checkpoint_completion_target = 0.5   # checkpoint target duration, 0.0 - 1.0 
checkpoint_segments = 2048       # in logfile segments, min 1, 16MB each 
#9.5以后checkpoint_segments不再使用，要参考设置以下两个参数
#max_wal_size = 1GB #最大不超过这个值
#min_wal_size = 80MB #最小保留这个值

如果没有开启归档的情况下：

不超过以下两个公式计算得出的个数

(2 + checkpoint_completion_target) * checkpoint_segments + 1 或者checkpoint_segments + wal_keep_segments + 1

9.5以后，如果超过了max_wal_size，那么就会删除不需要的wal.

如果开启了归档，那么归档成功了，才会被清除，所以这里注意一下，如果你开启了归档，但是归档命令是失效的，那么wal目录会一直增长，不会自动删除WAL，会使得此目录被撑爆。

什么情况下回自动清理wal

1.做检查点的时候

2.数据库启动的时候，或者修改了相关参数后重启数据库。

触发检查点的情况：

1.从前一个检查点发生过后的时间超过checkpoint_timeout设置的间隔（默认间隔为300秒（5分钟））。

2.在版本9.4或更早版本中，自上一个检查点以来，超过使用checkpoint_segments（默认数量为3）设置的WAL段文件数量。

3.在9.5或更高版本中，pg_xlog（版本10或更高版本，pg_wal）中WAL段文件的总大小已超过参数max_wal_size的值（默认值为1GB（64个文件））。

4.PostgreSQL服务在smart和fast模式下停止。

5.手动执行checkpoint.

如何手动清理wal

可以通过缩小以上涉及到的函数减少wal segment的数量，也可以手动删除，如下：

pg_controldata
Latest checkpoint location: 16/79FF5520
Latest checkpoint's REDO location: 16/79FF54E8
Latest checkpoint's REDO WAL file: 00000001000000160000001E

这里表示16/79FF54E8检查点已经执行，已经包含在00000001000000160000001E日志文件中，那么这个日志之前的日志是可以清理的。

可以手动使用系统命令rm清理

也可以使用pg_archivecleanup清理

比如：

查看日志
ll
total 833M
-rw------- 1 postgres postgres 64M Aug 29 11:10 00000001000000160000001E
-rw------- 1 postgres postgres 64M Jul 16 11:24 00000001000000160000001F
-rw------- 1 postgres postgres 64M Jul 16 11:24 000000010000001600000020
-rw------- 1 postgres postgres 64M Jul 16 11:25 000000010000001600000021
-rw------- 1 postgres postgres 64M Jul 16 11:25 000000010000001600000022
-rw------- 1 postgres postgres 64M Jul 16 11:26 000000010000001600000023
-rw------- 1 postgres postgres 64M Jul 16 11:24 000000010000001600000024
-rw------- 1 postgres postgres 64M Jul 16 11:24 000000010000001600000025
-rw------- 1 postgres postgres 64M Jul 16 11:26 000000010000001600000026
-rw------- 1 postgres postgres 64M Jul 16 11:40 000000010000001600000027
-rw------- 1 postgres postgres 64M Jul 16 11:40 000000010000001600000028
-rw------- 1 postgres postgres 64M Jul 16 11:51 000000010000001600000029
-rw------- 1 postgres postgres 64M Jul 16 11:40 00000001000000160000002A
drwx------ 2 postgres postgres 4.0K Jun 18 10:15 archive_status
保留000000010000001600000027之后的日志
 pg_archivecleanup /opt/pgdata11.3/pg_root/pg_wal/ 000000010000001600000027
 
 再次查看验证
 ls
000000010000001600000027 000000010000001600000028 000000010000001600000029 00000001000000160000002A archive_status

补充：Postgresql 数据库设置备份以及简单清理磁盘空间和wal日志的方法

1. 最近想简单的进行数据库的备份工作, 因为现在数据库主要是用的pg数据库 , 所以想到用文本的方式进行, 有清理了一下日志表的数据 这里一起记录一下.

先记录一下查看比较大的表的信息.

从网上找了下资料, 使用子查询的方式来查询表信息.

SELECT
  table_name,
  pg_size_pretty(table_size) AS table_size,
  pg_size_pretty(indexes_size) AS indexes_size,
  pg_size_pretty(total_size) AS total_size
FROM (
  SELECT
    table_name,
    pg_table_size(table_name) AS table_size,
    pg_indexes_size(table_name) AS indexes_size,
    pg_total_relation_size(table_name) AS total_size
  FROM (
    SELECT ('"' || table_schema || '"."' || table_name || '"') AS table_name
    FROM information_schema.tables
  ) AS all_tables
  ORDER BY total_size DESC
) AS pretty_sizes;

找出来最大的表信息之后, 需要使用

truncate table 的方式能够直接清理空间不然空间还是占用着的.

truncate table ****

或者是在数据库的 /data/base 目录下面也能够看到响应的表信息

2. 整理pg_wal 文件内的信息

wal 是 write ahead log 的意思 里面跟oracle的redo内容类似, 有时候文件会比较多需要清理一下.

方法

su - postgres
cd /usr/lib/yourpgbinpath
./pg_resetwal {PGDATA}
执行清理

3. 执行备份恢复的方式

备份 
tar -czvf /pgdata.tar.gz /pgdatapath
恢复
tar -zxvf /pgdata.tar.gz / 
恢复即可,

以上为个人经验，希望能给大家一个参考，也希望大家多多支持。如有错误或未考虑完全的地方，望不吝赐教。

标签：
Postgresql,清理WAL日志
蝙蝠岛资源网 Design By www.hbtsch.com
广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
蝙蝠岛资源网 Design By www.hbtsch.com

评论“Postgresql 如何清理WAL日志”

暂无Postgresql 如何清理WAL日志的评论...
www.hbtsch.com 蝙蝠岛资源网
139,976影音资源
144,792福利资源
21,817软件资源
631,128技术资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接
蝙蝠岛资源网 Design By www.hbtsch.com