高伯雨祖父高满华、父亲高舜琴的生平事迹，《听雨楼随笔》中时有涉及，此外提到最多的另一位家中长辈，就是他的八叔高蕴琴。高蕴琴（？-1927）名学濂，字隐岑，与兄长一样具有经商才能，不同的是他喜欢与文人交往，并雅好收藏。高伯雨在随笔中屡次提到的玉笥山楼，就是他八叔在香港的别业。在《江虾笔下出“本朝”》一文中，他说：

前在随笔中记蔡哲夫与吴道镕、汪兆镛等同在玉笥山楼观赏梁鼎芬遗墨，哲夫有诗。玉笥山楼是我的八叔父蕴琴先生在香港的寓所，地址在巴炳顿道，一九一七年建筑落成，是一所有花园的大洋房。蕴琴公好客，喜欢和文人往还，因此在香港的一班翰林公以至斗方名士都乐意和他做朋友。他和溥仪的师傅梁鼎芬也是相识的，一九一八年他和崔百越同往北京，住了半年，所租的房子就在梁鼎芬的住所附近，以便两家来往。

梁鼎芬是崔百越（名师贯）的表兄，崔氏担任高家西宾，自然将梁氏与高蕴琴拉得更近。民国间曾有好事者，将之演绎出《崔百越做猢狲王》一段谈助来，记玉笥山楼落成的时间、地址及主人姓氏等，与高伯雨所述无一不合，想必出于熟人之手。上文中高伯雨还抄录了江孔殷为高蕴琴藏梁鼎芬书诗扇题诗四首。在汪兆镛《微尚斋诗续集》中也有1925年所作《游赤柱山遇高蕴岑以梁文忠公遗墨卷子属题》一诗。高蕴琴去世后，崔百越曾作《高隐岑哀辞》，是目前所见高氏生平最详细的记录：

赤柱山去粤会城海程半日许，迩岁士夫避地者踵相接。顾市廛鳞萃，甚嚣尘上。独高斋当山之阿，胜流多归往，入其室，图书金石牣于中，花竹绕于外。接其人，温雅静深，不类商贾之为，则吾亡友高君隐岑也。隐岑贯澄海，余初识于其侄绳之孝廉许。……挟重资偕为汗漫游，历大江南北，抵京师寓最久。余介谒梁文忠公，一见许为佳士。隐岑意感激，故公殁后，以种树庐改建祠堂，首捐五百金。……喜法书，客暹三年，持筹外未尝废搦管，书体近褚、薛，有神悟，屡函往复论方圆折法。规余下笔过重，心山未能卒易也。……晚而好易，遍购古今说易之书读之，曰吾欲知吉凶悔吝，非为拘忌，盖以求寡过之旨也。惜未竟业。丙寅冬，以妻丧还汕头。开岁遘疾，电促珠垣往，而先于元夜殁矣。

由此可知，1926年冬高蕴琴回汕头，是为料理妻子后事。不想隔年元宵节，他也因病去世。澄海高氏一族中，继高学能之后，能绍述祖德者，应该就是高舜琴，在兄长去世十六年后，他将吴道镕所撰其父《高楚香君家传》寄往天津，请魏铁珊书丹后，交北京琉璃厂陈云亭刻字店勒石。高伯雨在《精通技击的诗人魏铁珊》一文中提到：

铁珊在广东居留过一个时期，和陈昭常、江孔殷及先叔父蕴琴先生都是好朋友。……先叔父蕴琴（学濂）先生和铁珊颇有交情，在一九二五年，曾把先祖楚香先生的家传寄去天津请铁珊书写，写成交给北京琉璃厂陈云亭刻字店刻石，打算立石于澄海县城的祠堂中。石久已刻成，不知怎的没有运回广东。一九二七年，先叔父在汕头逝世，家人完全不知道有这件事。到一九三三年，一个在天津做生意的本家高友桐入京，偶然在陈云亭处见到这些刻石，问起来才知道刻工还没有全付，但一部分已为张之洞之孙先支付了。友桐便写信到汕头告知伯昂侄，才汇了几百元去北京赎回，寄归时有一块断了。