江主席的祖父江石溪原名江紹嶽，1870年（清同治九年）出生於江蘇揚州江都縣（今揚州江都區）仙女鎮，另一種說法是出生於安徽旌德縣白地鄉江村。

在此之前，江家世居江西婺源縣江灣，江石溪的父親江振鑫是個箍桶匠，1860年前後，太平軍與清軍在婺源交戰，江振鑫為躲避戰亂，從婺源遷居安徽旌德。江石溪出生前後，江振鑫再次遷居江蘇江都縣。

光緒年間江石溪曾隨姐丈朱右村赴皖南徽州應試秀才，後在江都丁溝鎮名醫周云溪處學習中醫，六年業成，懸壺於仙女鎮一帶。

辛亥革命後，江石溪棄醫從商，在仙女鎮內河輪船公司任職，同時在仙女鎮協辦新學，並親自教授音樂。1915年經時任江蘇民政長、運河工程局會辦韓國鈞的介紹，江石溪受聘於清末狀元張謇創辦的南通大達內河輪船公司擔任協理（副經理）。為了方便工作，江家遷居揚州城裡田家巷。1924年遷居到便益門大街57號，1929年搬遷到東圈門街16號。

1926年張謇去世後，年近花甲的江石溪離開實業崗位，長子江世俊（江主席的生父，和朱自清是同窗好友）子承父業，進入大達公司。江石溪多才多藝，擅長詩文、書法、音樂，晚年家居以吟詩撫琴為樂。1933年9月，江石溪病故於揚州，終年63歲，歸藏於仙女廟大王莊，這一年，江主席7歲，在揚州瓊花觀小學讀書。

江石溪有子女七人，次子、三子、四女早夭，均有所成，最有名的就是六子江上青，為革命捐軀，成為革命烈士，江上青烈士的夫人王者蘭是父親江石溪妹夫的外甥女，而江主席的夫人王冶坪是江主席養母王者蘭的親侄女。