重新上岗的潘老板，将行号由“同文行”更名为“同孚行”，继续经营，直到1820年他病故，潘家无人愿意再担任行商，才算最后退出，真正是“死而后已”。他因死退出，也成就了伍秉鉴的首富地位。
帝国的经济圈是森严的，只要出任政府的行商，尤其是经营的不错的行商，就没有自由退出的机制。政府明文规定：“乏商(无实力的行商)应即参革，殷商(有实力的行商)不准求退，即实有老病残废等事，亦应责令亲信子侄接办。总不准坐拥厚资，置身事外。”(《清代外交史料》嘉庆朝)
行商后人、民国时学者梁嘉彬在《广东十三行考》中说，行商因不堪苛征暴敛，多有中途退办行务者，但退办时必须先清偿债务及历年来欠饷及罚金，才可能被批准退出。而且，因为行商资格是皇帝亲自任命的，退出也必须等待圣旨核准。否则，即便行商不想再干，却不能不继续承担义务。“有时行商即已退办，而海关以其他行商信用较弱，仍令其重新执行行务，行商不愿再作冯妇者，海关监督则强其为之，因是值得借债勉强支持生理(生意)，迨至不可收拾时，遂须受监追、查抄家产、充军伊犁之苦。”
梁嘉彬记载说，诸多行商中，只有“义成行”老板叶上林，顺利地获得了同意退出的圣旨，而其他人则要通过行贿才能退，而且依然可能被随时取消退休资格。梁嘉彬记载道，就在伍秉鉴花费了创纪录的50万银元后次年，“天宝行”老板梁经国为了“退休”，仅仅行贿了3万银元，价格之低“为向来所稀有”。
受够了
伍秉鉴的确是受够了。
这个家族，自从其父亲伍国莹开设了贸易公司“怡和行”、成为第一代“浩官”(Hawqua)之后，就一直在财富和动荡中不断折腾。
1787年，伍国莹为给一家中国公司担保，卷入了英国商人与中国商人的经济纠纷，被英国东印度公司非法拘禁，勒逼承担连带赔偿责任。而第二年，据称他又因为欠下不少海关关税及其他税捐，干脆一走了之(马士《东印度公司对华贸易编年史》)，当了“伍跑跑”。最终侥幸过关的伍国莹，迅速将公司业务交给了次子伍秉钧，开始了第二代掌舵。
在第二代“浩官”伍秉钧的手上，怡和行业务增长很快，成为行商中的佼佼者。1800年，伍秉钧也依然难以逃脱公权力的压榨。这年，怡和承保的一艘英国商船， 被大清海关查获有两对表未纳税——据说这是船员们自用的表，忘记申报。伍秉钧希望罚款了事，愿意支付180银元， 海关监督却罚他纳税50倍。 次年，年仅35岁的伍秉钧因病去世，把摊子交给了32岁的三弟伍秉鉴，开始了第二代的第二阶段。
