黄节出身富裕商人家庭，不幸的是，十月成孤，家道败落，迫使母子只得靠变卖家当相依度日。幼年由母亲亲授“四书”，22岁到简岸草堂就读，颇受老师简朝亮道德学问熏陶；课余与同学邓实结为知交，以匡世扶危相互勉励。
两年后，离简岸入广州花地云林寺潜心读书。1900年前后，漫游各地，北登长城，出山海关，浪迹大江南北，广泛接触进步人士，逐渐形成反清革命思想。
光绪二十七年（1901）黄节回到广州，与谢英伯等创办“群学书社”，旋改名“武南公学会”，设中外报刊供人阅览。
翌年，应顺天乡试，在策论中力陈同仇御侮方略，为同考官袁季九所赞赏，联络18房考官合力推荐，终遭主考陆润庠阻抑而落第，遂绝迹科场，一意从事文化救国事业。转赴上海，与邓实创办《政世通报》，介绍西方文明，宣传强国思想。
光绪三十一年（1905），回乡变卖祖业，返沪与章炳麟、邓实、马叙伦、刘师培等创立国学保存会，大量搜购明、清间禁书，刊为《风雨楼丛书》及《古学会刊》，并创办《国粹学报》，阐发学术传统，发起民义，伸张民权，传播反清思想。
同年，又主编《广州旬报》和《拒约报》，揭露美国华工受迫害的实情，鼓吹反帝爱国。1907年赞助于右任等创办《神州日报》。次年参与组织南社，以诗文宣传革命。宣统元年（1909），赴香港加入同盟会，以满腔的政治热情，写下大量爱国诗文。
1911年秋，广东光复，黄节返粤后，曾合创南武公学会、南武中学堂，并出任省高等学堂监督，替都督胡汉民草拟《改元剪辫文告》、《誓师北伐文》。
1912年，与谢英伯、潘达微等组织“天民社”，创办《天民日报》，力倡发扬民主，伸张民权，罢斥贪官污吏。民国二年（1913）春加入南社。5月，到北京铁路局供职，郁郁不得志，时与罗瘿公等征歌狎妓，诗酒唱酬。袁世凯策划“君主立宪”期间，黄节频频撰文抨击，致遭忌恨，一度避居天津法租界。此后不再参与新闻舆论工作，专心致力学术研究和教育事业。随着对现实的失望，思想亦渐趋保守。
1917年，受聘为北京大学文学院教授，专授中国诗学。汪精卫要出资为其出版诗集，他推脱说“要做之事甚多，我不汲汲於此。”曾对蔡元培支持“新文化运动”深表不满，又对“五四”学生运动说长论短。1922年秋，拒绝王宠惠邀任北洋政府国务院秘书长。
1923年3月，应孙中山之召，到广州任元帅府秘书长，旋因政局不佳而不就，回京继续任教。 1928年，应李济深聘，任广东省教育厅厅长、广东通志馆馆长、广东省政府委员。
1929年春辞职居澳门。同年秋复任北京大学教授，兼任清华大学、北平师范大学教习。晚年对时事每多忧愤，汪精卫电召他出席国难会议，陈济棠聘他任教育厅长，均坚辞不赴。
1935年1月24日，黄节病逝于北平，归葬广东白云山御书阁畔。二月，黄节哀悼会以“国师”的规格在南京召开，追悼会由蔡元培、陈树人等发起，行政院长汪精卫亲临主祭，章太炎、胡适、李济深撰写挽联，南京国民政府明令褒扬，将逝者生平言行著述，宣付国史馆立传。胡适用“南洲高士徐孺子，爱国诗人陆放翁”来概括其一生。
