Configurar el acceso vía SSH solamente desde IPs especificas es sencillo. Se ha de tocar el archivo /etc/ssh/sshd_config .
Si necesitas acceso a alguna máquina vía SSH puedes restringir desde la configuración del servidor SSH que solamente puedan quienes vengan de determinadas IPs.
Esto es un ejemplo que lo que hace es no permitir el acceso salvo que vengas de alguna de las IPs especificadas separadas por comas. Y entonces incluso te permite acceso como root.
Ejemplo de configuración para el archivo /etc/ssh/sshd_config
Port 2222
PasswordAuthentication no
PubkeyAuthentication no
ChallengeResponseAuthentication no
UsePAM yes
X11Forwarding yes
PrintMotd no
AcceptEnv LANG LC_*
Subsystem sftp /usr/lib/openssh/sftp-server
Match Address 121.94.86.176,141.92.86.147,143.94.33.178,80.43.36.149,192.168.2.0/24
PermitRootLogin yes
PasswordAuthentication yes
Luego se ha de reiniciar el servidor sshd o hacer un reload para que pille la configuración nueva.
También se pueden aplicar reglas con iptables o con algún firewall externo.
Y eso es todo. Saludos cordiales.