Si no utilizas SMTP recomiendo usarlo,
Puedes buscar en google SMTP Tester para probar tu conexión al servidor de correos.
En caso que el problema continue, por favor confirma que tu servidor cumple con los requisitos oficiales de PS 1.7.8.x
https://devdocs.prestashop.com/1.7/basics/installation/system-requirements/