Porque cuando hay un parentesis sin signos entre el y el otro numero, 5(-2) en este caso, se entiende como multiplicación, entonces la operación vendría a ser (5*-2)-1.
5*-2= -10.
Supongo que sabes que en numeros negativos las restas aumentan y las sumas disminuyen.
Entonces: -10-1= -11
Espero haberte ayudado