冉覲祖生性穩(wěn)重，少有成人之風(fēng)。十七歲時(shí)娶郟縣教諭梁天民之女為妻，同年十一月在鄢陵中秀才，不久補(bǔ)考博士子弟員（最高學(xué)府國(guó)子監(jiān)學(xué)習(xí)的生員），次年到衛(wèi)輝（河南汲縣）百泉參加鄉(xiāng)試（考舉人）。見(jiàn)書(shū)販陳列大量名貴書(shū)籍，竟竭盡所有購(gòu)買(mǎi)了四書(shū)五經(jīng)大全及著名詩(shī)文集等，因而不再專(zhuān)心應(yīng)考，回家埋頭研讀，立志于著作。19歲補(bǔ)廩（秀才年考成績(jī)優(yōu)異者，官府給予一定數(shù)量廩米補(bǔ)助）。當(dāng)時(shí)有人出售《二十一史》，要價(jià)很高，他個(gè)人資力不夠，就借銀買(mǎi)得此書(shū)，潛心研究，汶上（山東）袁某擅長(zhǎng)音韻，來(lái)縣城設(shè)教，二人傾談五日，冉盡得其中奧妙。

　　冉覲祖27歲時(shí)得中鄉(xiāng)試第一名舉人，此后長(zhǎng)期專(zhuān)心讀書(shū)、著述，寫(xiě)成《四書(shū)五經(jīng)詳說(shuō)》、《尚書(shū)詳說(shuō)》、《四書(shū)玩注》等。康熙二十八年（1690年）應(yīng)登封進(jìn)士景東場(chǎng)邀請(qǐng)到嵩陽(yáng)書(shū)院講學(xué)。次年兼應(yīng)本省撫軍閻某之約，主編《中州通志》。

　　康熙三十年中進(jìn)士，留任翰林院庶吉士，三年后升檢討。在翰林院任職期間，曾與同僚被康熙皇帝召見(jiàn)、賜宴，即席賦詩(shī)，得到皇帝“氣度老誠(chéng)”的獎(jiǎng)?wù)Z。

　　康熙三十七年辭官還鄉(xiāng)，再赴嵩陽(yáng)書(shū)院講學(xué)，次年?yáng)|歸，受戶(hù)部侍郎張勉齋邀請(qǐng)到儀封（今蘭考縣）書(shū)院講學(xué)，同時(shí)登封知縣堅(jiān)決邀請(qǐng)他重回嵩陽(yáng)書(shū)院講學(xué)，冉不得已，就東西兼顧，輪流講之。

　　康熙四十年再次應(yīng)召進(jìn)京任原職，因年事已高，掌院（翰林院主官）準(zhǔn)他輪入侍值（輪流到翰林院值班），外無(wú)所事，得以安心著述。康熙四十三年，其68歲時(shí)，辭官還鄉(xiāng)，建綸翰堂，專(zhuān)心著述，兼教授子弟。康熙五十七年病故，終年81歲。臨終之時(shí)，諄諄告誡諸子，刊行他的遺稿，建藏書(shū)樓，以備后人閱讀，卻無(wú)一語(yǔ)涉及私事。