在弗拉斯卡蒂的社交圈中，卡洛·艾曼努尔四世频繁造访了斯图亚特王朝的最后一位枢机主教，即约克公爵亨利·贝内迪克特·斯图亚特。1807年，随着亨利的离世，卡洛接过了查理一世的王位继承权，因此被詹姆斯党视为英格兰、苏格兰、法兰西和爱尔兰的国王，即查理四世。然而，没有历史记录表明卡洛曾公开宣称对英格兰和苏格兰王位的主张。

1815年，卡洛已年届六十四，他在罗马的耶稣会宣誓成为了一名修士，但并未被正式授予神父的职位。他的余生都在罗马度过了，度过了一个修士的见习期。1819年10月6日，这位曾短暂站在王位边缘的贵族在罗马的科隆纳宫结束了生命，他的长眠之地是奎琳岗圣安德肋堂，那里成为了他最后的归宿。