順治三年（1646），潘耒出生于江南吳江縣（今屬江蘇蘇州）的一家書香門第。六歲喪父，依兄潘檉章生活。潘檉章，字圣木，號(hào)力田，康熙二年（1663）因浙江南潯莊廷鑨明史案牽連，與吳炎同被凌遲于杭州弼教坊。其嫂沈氏流放就道，時(shí)耒年僅十七，徒步送之。沈氏流放至廣寧（遼寧省北鎮(zhèn)縣），中途流產(chǎn)，服藥自殺。耒曾有《慟哭七十韻》《閣谷歌》《度關(guān)曲》三首詩為其兄所遭莊史之禍而作。

　　潘耒生而奇慧，讀書十行并下，過目不忘，曾先后受業(yè)于長兄檉章、吳炎、王錫闡、徐枋、顧炎武等著名學(xué)者，博通經(jīng)史、音韻、算數(shù)及宗乘之學(xué)。嗜好收藏硯臺(tái)，并根據(jù)硯的形狀、質(zhì)地，分刻銘文，閑睱獨(dú)自把玩，自得其樂，人稱其有“石癖”。

　　康熙十七年（1678）清政府詔舉“博學(xué)鴻儒科”，潘耒為左諭德盧琦和刑部郎中謝重輝交章推薦。試后，潘耒名列二等第二名，以布衣身份被授為翰林院檢討，參與《明史》修纂，主纂《食貨志》六卷。潘耒在京為官五年，其間，除參修《明史》外，又被康熙帝親自簡拔為日講起居注官，出任會(huì)試考官，分校禮闈。他對于時(shí)政亦多有建白，后因精敏敢言，無稍遜避為忌者所中，以浮躁降職，后因母憂歸，遂不復(fù)出。康熙三十四年（1695），在福建建陽將顧炎武《日知錄》三十二卷本刻版行世，潘耒在《日知錄》原序曰：“當(dāng)代文人才子甚多，然語學(xué)問者，必?cái)狂磐祁櫹壬保⒅^此書“惟宋、元名儒能為之，明三百年來殆未有也”。

　　康熙四十二年（1703）春，康熙南巡，復(fù)耒原官，越三年，皇帝又南巡，大學(xué)士陳廷敬欲薦起耒，耒曰：“止止止，吾初志也，吾分也。”并附一首《老馬行》以謝，竟不復(fù)出。

　　潘耒晚年崇信佛學(xué)，好山水，遍游天臺(tái)、雁蕩、武夷、黃山諸名山，為文記之，名篇有《游南雁蕩記》、《火焰峰》、《天柱峰僧餉黃獨(dú)》、《仙居諸山游記》等。