redis-rdb-tools来解析分析reids dump文件及内存使用量

一. 前言

解析redis的dump.rdb文件,分析内存,以JSON格式导出数据。|
提供的功能有:
1. 生成内存报告
2. 转储文件到JSON
3. 使用标准的diff工具比较两个dump文件

Rdbtools是以python语言开发的。

二. 安装

2.1 前提条件
1. python2.4以上版本 和 pip
2. redis-py可选,只运行在测试用例下

2.2 从PyPI安装(推荐)

2.3 从源码包安装

三. 转换dump文件到JSON

3.1 解析dump文件并以JSON格式标准输出

3.2 只解析符合正则的keys

3.3 只解析以“a”为开头的hash且位于数据库ID为2的

四. 生成内存报告

生成CSV格式的内存报告。包含的列有:数据库ID,数据类型,key,内存使用量(byte),编码。内存使用量包含key、value和其他值。
注意:内存使用量是近似的。在一般情况下,略低于实际值。
可以根据key或数据库ID或数据类型对报告的内容进行过滤。

内存报告有助于检测是否是应用程序逻辑导致的内存泄露,也有助于优化reids内存使用情况。

五. 单个key所使用的内存量

有时候,需要查询某个key所使用的内存。如果全部导出来在查找将是很愚蠢且耗时的。对于这种情景,可以使用redis-memory-for-key命令。
如果出现下面信息,需要安装redis模块。redis-memory-for-key依赖redis-py包。

实例如下:

六. 比较RDB文件

使用–command diff选项,并通过管道来进行排序。

使用kdiff3工具来进行比较,kdiff3是图形化的工具,比较直观。kdiff3工具比较两个或三个输入文件或目录。
安装kdiff3

七. 使用解析器

八. 其他资源

1. FAQ:https://github.com/sripathikrishnan/redis-rdb-tools/wiki/FAQs
2. redis dump文件规范: https://github.com/sripathikrishnan/redis-rdb-tools/wiki/Redis-RDB-Dump-File-Format
3. redis RDB历史版本: https://github.com/sripathikrishnan/redis-rdb-tools/blob/master/docs/RDB_Version_History.textile
4. redis-rdb-tools:https://github.com/sripathikrishnan/redis-rdb-tools

九. 其他工具Redis-audit 

Redis-audit 是一个用ruby实现的脚本,通过它,我们可以知道每一类 key 对内存的使用量。它可以提供的数据有:某一类 key 值的访问频率如何,有多少值设置了过期时间,某一类 key 值使用内存的大小,这很方便让我们能排查哪些 key 不常用或者压根不用。
项目地址:https://github.com/snmaynard/redis-audit

如需转载请注明出处:http://www.ttlsa.com/html/2653.html