Этот талантливый полузащитник атакующего плана буквально влюбил в себя энфилдскую публику своими техническими изысками, однако, как и у большинства одаренных футболистов, его игра слишком сильно зависела от частых перепадов настроения игрока, что в конечном счёте вывело из себя даже самых терпеливых фанатов «Ливерпуля».
Джимми перешёл в «Ливерпуль» в январе 1958 года из шотландского «Хайберниана» в возрасте 22 лет. До конца сезона Хэрроувер успел провести 12 матчей и забить в них два гола. В следующем сезоне он пропустил всего пять поединков, шесть раз послав мяч в сетку ворот соперников. Сезон 1959/1960 стал поворотным в истории «Ливерпуля» — в команду пришёл великий Билл Шенкли, который энергично взялся за дело.
Шенкс долго не мог отдать предпочтение ни одному из своих вингеров, попеременно выпуская на поле то Джеймса Хэрроувера, то Джимми Мелиа. Однако к концу следующего сезона Мелиа сумел одержать победу в этой дуэли, и стало ясно, что Джимми пора уходить. В марте 1961 года Хэрроувер стал игроком «Ньюкасла».
