据说三国时东吴赤乌年间初建广济寺，僧人掘赤乌井时得到一块璀璨夺目的五色石，遂命工匠琢磨成一只香炉，供奉寺内，作为镇山之宝。采石之名，也就由“彩石”得来。

　　陈友谅是元末一支农民军的领袖。元末农民起义军群雄纷争，战乱不断。占据长江中游的陈友谅为扩大势力范围，率战舰东下，攻克了朱元璋据有的太平府。太平府得手后，陈友谅以采石山麓下的五通殿为行宫，自称皇帝，国号“汉”。

　　陈友谅称帝后，一直想并吞朱元璋。公元1360年，他率水军60万，从采石沿江东下，意图一举攻下应天府(今南京)，在采石地区，同朱元璋农民军展开激战。采石之役以陈友谅大败，放弃采石而告终。三年后，陈友谅与朱元璋在鄱阳湖爆发决战，陈友谅再次失败，死于乱箭之下，此年陈友谅44岁，离采石称帝仅4年。