Все просто. Нам понадобится добавить лишь 3 строки в pf.conf

max-src-conn – максимальное число коннектов с одного хоста (100)
max-src-conn-rate – не более чем 15 коннектов каждые 5 секунд
overload <bruteforce> flush global – все кто нарушил лимит заносятся в таблицу bruteforce и принудительно отключаются.

table <bruteforce> persist
...
block quick from <bruteforce>
...
pass inet proto tcp from any to $ext_ip port $tcp_services flags S/SA keep state (max-src-conn 100, max-src-conn-rate 15/5, overload <bruteforce> flush global)