John O'Shea ký hợp đồng chuyên nghiệp với United vào tháng 8 năm 1998 và trận đấu đầu tiên anh ra sân trong màu áo Quỷ Đỏ là trận đấu với Aston Villa trong khuôn khổ League Cup vào ngày 31/10/1999. Sau đó ở các mùa giải 1998 - 1999 và 1999 - 2000, anh đã chơi 20 trận và có 2 bàn thắng cho đội hình dự bị của United. Đến tháng 1 năm 2000, anh được Sir Alex cho mượn để tích lũy thêm kinh nghiệm tại giải Hạng hai của Anh .

O’Shea quay trở lại United vào tháng 3 năm 2000 do sự thiếu hụt lực lượng ở đội hình 1 của Quỷ Đỏ lúc đó. Anh ra sân trong 2 trận đấu của United tại giải Worthington Cup gặp Watford và Sunderland, tuy nhiên anh chưa chứng tỏ được mình và tiếp tục được cho mượn ở mùa giải 2000 - 2001.

Trong thời gian cho mượn, anh đã sát cánh cùng Luke Chadwick, Danny Higginbotham và Ronnie Wallwork trong màu áo đội bóng Royal Antwerp. Mặc dù O’Shea có một vị trí chính thức ở hàng tiền vệ đội bóng này - một đối tác của United ở Bỉ - nhưng anh vẫn cố gắng tìm kiếm một vị trí trong đội hình U21 Ireland.

O’Shea trở lại đội hình 1 của Quỷ Đỏ vào mùa giải 2002 - 2003 trong vai trò một cầu thủ đa năng: hậu vệ cánh phải, hậu vệ cánh trái, trung vệ và cả tiền vệ trung tâm. John đã có 23 trận thi đấu dưới màu áo của United trong mùa giải này, và với một sự tiến bộ vượt bậc, anh đã có một mùa giải khá thành công và giành được nhiều lời khen ngợi của giới chuyên môn. Các mùa giải sau đó, anh vẫn nhận được sự tin dùng của Sir Alex và ra sân thường xuyên hơn trong đội hình chính thức.

Tuy là một cầu thủ thiên về phòng ngự nhưng O’Shea đã có khá nhiều bàn thắng cho United và bàn thắng đáng nhớ nhất có lẽ là bàn ấn định tỉ số 4 - 2 trước địch thủ Arsenal ở lượt về giải Ngoại hạng mùa giải 2004 - 2005.