Отсюда http://guruadmin.ru/page/iptables-ogranichenie-kolichestva-podkljuchenij-s-ip
В данной статье мы рассмотрим как можно ограничить количество подключений с одного IP адреса к нашему серверу. В этом нам поможет модуль connlimit, который позволяет ограничить количество параллельных TCP коннектов к серверу с IP адреса, либо блока адресов.