懷遠、五河二縣境內歷史悠久，但是建縣的時間不到千年。
懷遠縣文明史可上溯到原始社會的唐、虞時代，設有涂山氏國。懷遠是大禹治水、召會諸侯之地望所在。但懷遠建縣始建于元代至元二十八年（1291年）；五河縣境內曾有漢朝置古虹縣，唐朝時期，虹縣在今泗縣，五河縣始建于南宋咸淳七年（1271年）。
那么，這兩個縣建縣前是屬于哪里的呢？
這兩個縣城是屬于淮河北岸，在北宋時期，是屬于宿州的，因為在元朝以前，淮河南北基本上是分治的，只有在唐貞元元年(785年)，徐州轄地跨越淮河，鐘離縣（濠州治所）割屬徐州。元和四年(809年)改屬宿州。在五代十國時期，淮河南北大多時間內是兩個不同的割據政權，鐘離縣還屬濠州并為治所，由此可見，懷遠、五河建縣前基本為宿州和古泗州轄地。
南宋時期，宿州虹縣改屬泗州，1141年，宋高宗趙構十二道金牌召回岳飛，宋金簽訂紹興和議，宋割讓從前被岳飛收復的唐州、鄧州以及商州、秦州的大半，每年向金進貢銀廿五萬兩，絹廿五萬匹。劃定疆界，東以淮河中流為界，西以大散關（陜西寶雞西南）為界，以南屬宋，以北屬金。也就是說今懷遠縣城和五河縣城是屬于金國的宿州和泗州。
此后百年，宋朝數度北伐無功而過，金國幾度南下也未能消滅南宋，而這一格局到了蒙古崛起而悄悄改變。
端平元年（1234年）五月，南宋連蒙滅金，金國滅亡后，宋朝失去金國作為屏障，令南宋面臨比金更強大的蒙古南下威脅。
宋理宗寶祐五年（1257年），宋朝在宿州蘄縣荊山鎮設置荊山縣，隸屬于懷遠軍，南宋咸淳七年（1271年）始置五河縣，屬淮北東路淮安軍。這段時間，蒙古大軍勢不可擋，軍作為行政區劃名，跟駐軍還是有關系的。設置軍的目的，還有在淮河北岸設置五河、懷遠兩座城池，就是作為淮河的屏障，來抵御蒙古的侵略。
據《宋史》記載：懷遠軍：后歸宋，寶佑五年(1257)于宿州蘄縣荊山鎮置懷遠軍。荊山縣：??，倚。初為宿州蘄縣荊山鎮，屬金；后歸宋，寶佑五年(1257)置荊山縣，來屬懷遠軍。
據《宋史·志·卷四十一》記載：淮安軍，本泗州五河口。端平二年，金亡，遺民來歸，置隘使屯田。咸淳七年六月，置軍。縣一：五河。（咸淳七年置，有潧、涇、沱、漴、淮五河，故名。）
據《元史·本紀·卷七》記載：山東統軍司塔出、董文炳偵知宋人欲據五河口，請筑城守之，既而坐失事機，宋兵已樹柵其地。事聞，敕決罰塔出、文炳等有差……庚辰，右衛親軍都指揮使忽都等言：“五河城堡已成，唯廬舍未完，凡材甓皆出宋境，請率精兵分道抄掠。”
據《元史·本紀·卷八》：宿州萬戶愛先不花請筑堡牛頭山，以厄兩淮糧運，不允。愛先不花因言：“前宋人城五河，統軍司臣皆當得罪。今不筑，恐為宋人所先。”帝曰：“汝言雖是，若坐視宋人戍之，罪亦不免也。”
這其中就記載著宋朝和蒙古大戰，建立了五河縣和荊山縣（后來的懷遠縣），而牛頭山在今蚌埠市固鎮縣城南，南宋時屬宿州，據五河縣不遠，而蒙古人最終沒有建設城池與宋朝拉開對峙。
