汤霖的父亲即汤一介的曾祖父，字谦吉，号莘夫，虽只做到相当于知县师爷职位的差事，却也是非常注重学术之人，并曾力助当年湖北总督胡林翼治理水患。

汤一介的祖父汤霖，字崇道，号雨三。汤霖自幼聪颖好学，并在各类科试中屡次拔得头筹，1890年考取进士。此后，汤霖曾在甘肃渭源、碾伯、宁翔、平番等县任知县。

汤霖在任知县期间，推崇文化教育，执政有方、官风清廉。《创修渭源县志·职官表》和《渭源风土调查录·汤霖传》曾载：“汤霖，字雨三，湖北黄梅县人，光绪庚寅科进士。下车观风课士，讲授文学，因以执师生礼，而官民之风变焉。迨后文明日进，先生使然。”

因为执政有方，当地老百姓还送其“汤青天”的美名。1903年前后，汤霖任甘肃乡试同考官、甘肃省优级师范学堂庶务长。1906年，清政府废除科举制度，创办新式学堂。此后，汤霖致力于创办新式学堂，并成为推行新式教育的先行者。1906年3月，汤霖与当时同样来自湖北又为翰林出身、时任甘肃提学使的陈增佑等成功合办了新式学堂——甘肃省优级师范学堂。

关于汤霖参与创办的甘肃省优级师范学堂，在《甘肃文史资料选辑》第十七辑刘尊贤所著《清末甘肃优级师范学堂》文中曾这样记载：“监督为湖北人陈增佑(翰林出身，时任甘肃提学使)，教务长为甘肃人张林焱(翰林出身，曾任翰林院检讨)，庶务长为湖北人汤霖(进士)和山东人郁华(举人)。教员有张焱(授历史)，郁华(授算学、图画、地理)王泽闿(授理化)，李兴勇(授博物)，邵登凯(授算学)，邓宗(授教育、伦理、心理、英文)，谭其茳(授伦理、日文)，金常(授法制、理财)，文琳(旗人，授体操)等。”