Хардкорная отлада Linux софта: SystemTAP

Это штука по типу Солярисного DTrace, который поистине крутой :) И местами даже превосходящий DTrace: http://sourceware.org/systemtap/wiki/SystemtapDtraceComparison А вот даже офгайд от Red Hat: http://www.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/5/html/SystemTap_Beginners_Guide/using-systemtap.html#installproper

Для начала нужно заручиться поддержкой со стороны ядра (список взят с "Installing and Using SystemTap"):

General setup --->
[*] Kprobes
[*] Kernel->user space relay support (formerly relayfs)
Kernel hacking --->
[*] Debug Filesystem
[*] Kernel debugging
[*] Compile the kernel with debug info
Security Options --->
[*] Default Linux Capabilities

Или вот так:

cat .config | egrep 'CONFIG_DEBUG_INFO|CONFIG_KPROBES|CONFIG_RELAY|CONFIG_DEBUG_FS|CONFIG_MODULES|CONFIG_MODULES_UNLOAD'

Ставим:

apt-get install -y systemtap

Примеры использования

А запускать скрипты так: stap fork.stp -v

А вот еще интересная статья

А вот и "тестовые наборы": /usr/share/doc/systemtap/examples