Los eventos OnKeyDown y OnKeyUp devuelven en el parámetro Key el valor del código del teclado, no el código ASCII de la tecla pulsada. Si quieres obtener el código ASCII, debes utilizar OnKeyPress.Puedes comprobarlo tú mismo. Si presionas la tecla A tanto mayúscula como en minúscula te devolverá el código 65 del teclado en el evento OnKeyDown. Sin embargo, en el evento OnKeyPress, te devolverá 65 y 97 respectivamente.
Por lo tanto, para saber si has pulsado un número del teclado numérico, haces:
switch (Key)
{
case VK_NUMPAD0:
//tecla cero
break;
case VK_NUMPAD1:
//tecla uno
break;
}