如何提高kdump的速度？

kdump怎样工作，如何预留内存给capture kernel，怎样提高dump速度…...



本文转载自一位专家朋友（微博@vmunix）的博客，他从事UNIX性能方面的工作近十年，今年来开始研究Linux。原文地址：http://linuxperf.com/?p=172

分析操作系统crash或hang的原因，需要用到kernel dump。Linux系统用来捕捉kernel dump的工具是kdump。

kdump的原理是启动一个特殊的dump-capture kernel把系统内存里的数据保存到文件里，为什么需要一个特殊的dump-capture kernel呢？因为原来的kernel已经出问题了，发生crash或hang了。

Dump-capture kernel 既可以是独立的，也可以与系统内核集成在一起–这需要硬件支持relocatable kernel才行。在X86_64系统上RHEL6/7和SLES11/12缺省都是与系统内核集成在一起的。

kdump工作的过程如下：

1. 系统内核启动的时候，要给dump-capture kernel预留一块内存空间；
2. 内核启动完成后，kdump service执行 kexec -p 命令把dump-capture kernel载入预留的内存里；
3. 然后，如果系统发生crash，会自动reboot进入dump-capture kernel，dump-capturekernel只使用自己的预留内存，确保其余的内存数据不会被改动，它的任务是把系统内存里的数据写入到dump文件，比如/var/crash/vmcore，为了减小文件的大小，它会通过makedumpfile(8)命令对内存数据进行挑选和压缩；
4. dump文件写完之后，dump-capture kernel自动reboot。

预留内存配置kdump的一个关键环节是预留内存。预留的内存是有特殊要求的，它必须是连续的，在老的系统上比如SLES11还要求内存物理地址低于4GB（SLES12无此要求，因为新kernel允许使用高位内存）。可供预留的内存取决于硬件配置，BIOS/firmware占用的内存是不能预留的，EFI经常占用很多内存，I/O卡也要占用内存，在引导过程中都能看到：



为dump-capture kernel预留内存的方法是在kernel command line中加入如下参数：
crashkernel=size[@offset]

需要预留多少内存呢？

RHEL从6.2开始可以使用”crashkernel=auto”，让内核自行计算，如果有问题才手工指定。

SLES12则可以用”kdumptool calibrate”命令计算推荐值，具体方法参见SUSE DOC: Calculating crashkernel Allocation Size 。

更老的系统上需要根据系统总内存手工计算预留内存的大小，参考值请自行搜索。

不幸的是，确实有些系统存在无法预留足够内存的情况，如果dump-capture kernel需要的内存比较多，而硬件配置又比较复杂导致可用的连续内存不足，就有可能发生。这在老内核上更常见，而新内核允许使用高位内存就好多了。

kdump的性能计算机的内存越来越大，kernel dump也越来越大，保存dump文件的时间也越来越长，为了提高速度，kdump的配置可以进行调整。

1，多CPU
缺省情况下dump-capture kernel只使用一个CPU，有时使用多个CPU会有帮助。这可以通过修改dump-capture

kernel 的参数 nr_cpus=1 来实现，怎样修改dump-capture

kernel的参数呢？不是在grub中，那里是普通kernel的参数，而是在 /etc/sysconfig/kdump 中，如下所示：
KDUMP_COMMANDLINE_APPEND=”irqpoll nr_cpus=4 …”

2，压缩算法
makedumpfile(8)默认的”-c”参数使用zlib，虽然压缩比很高但是速度很慢，通常低于30MB/s。可以选用速度更快的LZO，虽然压缩比稍微低一点但是速度可达800MB/s，把/etc/kdump.conf中的makedumpfile(8)的”-c”参数换成”-l”即可。

参考资料：

http://lse.sourceforge.net/kdump/documentation/ols2oo5-kdump-paper.pdf
https://www.kernel.org/doc/Documentation/kdump/kdump.txt
http://people.redhat.com/nhorman/papers/ols-slides.pdf
http://events.linuxfoundation.org/sites/events/files/slides/slide_final_0.pdf

注：本文只代表作者个人观点，与任何组织机构无关。进一步交流技术，可以加我的QQ/微信：490834312。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）

感谢您的阅读和支持！《企业存储技术》微信公众号：huangliang_storage历史文章汇总（传送门）：http://chuansong.me/account/huangliang_storage

    关注 企业存储技术