Для начала нужно знать имя пакета. Если точно мы его не знаем, то можно поискать в списке всех установленных по маске.

Для Debian/Ubuntu и подобных

$ sudo dpkg -l | grep archive
ii p7zip 16.02+dfsg-6 amd64 7zr file archiver with high compression ratio
ii ubuntu-keyring 2018.09.18.1~18.04.0 all GnuPG keys of the Ubuntu archive
ii unrar 1:5.5.8-1 amd64 Unarchiver for .rar files (non-free version)
ii unzip 6.0-21ubuntu1 amd64 De-archiver for .zip files

Предположим, что нужно удалить p7zip. Тогда сделаем так:

$ sudo apt remove p7zip

или

$ sudo apt-get remove p7zip

или

$ sudo dpkg -r p7zip

Подтверждает y (YES), где необходимо. Для удаления из системы оставшихся параметров пакета надо сделать purge.

$ sudo apt-get purge p7zip

или

$ sudo dpkg -P p7zip

Для CentOS, RHEL и подобных

$ sudo rpm -qa | grep rsync
librsync-devel-1.0.0-1.el6.i686
rsync-3.0.6-12.el6.i686
librsync-1.0.0-1.el6.i686

или

$ yum list installed | grep rsync

И удалим:

$ sudo yum remove rsync

или

$ sudo yum erase rsync

или

$ sudo rpm -e rsync