Гиллеспи стал самым молодым капитаном в истории Шотландской лиги, когда в возрасте 17 лет получил заветную повязку в клубе «Фолкерк». За шесть лет в «Ковентри Сити» Гари провёл свыше 200 матчей, однако в 1983 году, несмотря интерес со стороны «Арсенала», Гари подался на Мерсисайд. Гиллеспи стал первым игроком, которого пригласил в команду новый главный тренер команды Джо Фэган. Вместе с двумя другими защитниками команды Лоуренсонном и Хансеном они наглухо замуровали все подступы к воротам «Ливерпуля». Эта тройка успешно выступала в «Ливерпуле» и при Кенни Далглише.
К сожалению, травмы помешали Гиллеспи как следует провести сезоны 1988/1989 и 1989/1990, однако в последнем сезоне «Короля» Кенни Гари был в ударе, отыграв 35 матчей. После того, как в клуб пришел Сунесс, Гиллеспи выпал из числа игроков основного состава. В 1991 году Гари перешёл в клуб, за который болел с детских лет — «Селтик», где играл на протяжении трёх сезонов, после чего вернулся в «Ковентри», которым руководил Фил Нил. После окончания игровой карьеры Гиллеспи перешёл на тренерскую работу в «Ковентри Сити».
