По мотивам Bug #520546 в launchpad.
Решилась проблема добавлением в /usr/lib/X11/xorg.conf.d/05-evdev.conf в секцию:
Section "InputClass"
Identifier "evdev keyboard catchall"
строчки:
Option "GrabDevice" "True"
Вроде бы пока полет нормальный