А зачем было запускать на сервере клиента?

Т.е. зачем было делать из сервера систему а-ля стенделон (оно же NVR) если Вы затем всё равно просмотр ведете в основном на телефонах или на удаленных ПК?
Клиентская часть на сервере нужна только для первоначальной настройки и периодической проверки СВН и в этом случае нагрузка на сервер будет исключительно на запись/чтение сетевого потока без его распаковки, что позволяете даже на самых слабеньких машинах спокойно иметь от 16-32 каналов записи и чтения от 16-32 IP камер.
Причем, если я правильно понял, в Вашем случае запись у Вас идет локально в камерах на SD, тогда, сервер может быть вообще без жесткого диска, а Linux-ОС с серверной частью может быть установлена даже на SD (или даже USB-флеш) неттопа/нетбука/ноутбука.
