洪泽湖的整个形状很像一只昂首展翅欲飞的天鹅，发育在冲积平原的洼地上，故湖底浅平，岸坡低缓，湖底高出东部苏北平原4-8米，成为一个"悬湖"。登上海拔16米的大堤才能看到碧波万顷的洪泽湖水，洪泽湖的湖底海拔10.5米，它东部的里下河平原平均海拔小于9米，洪泽湖是典型的“地上湖”，它高悬于苏北大地之上，是我国著名的“悬湖”。
洪泽湖之所以成为“悬湖”是古黄河侵占淮河入海通道所致，800多年前，淮河还是一条独流入海的大河。它西出河南桐柏山，东至江苏云梯关入黄海。现今洪泽湖的位置有一些小湖群。南宋建炎二年黄河决堤南侵，夺了淮河水道。汹涌的黄河水带来大量泥沙沉积于淮河，使淮河逐渐水流不畅。1194年黄河在清江市附近再次夺淮河下游河道入海，使淮河更加宣泄不畅。于是，上中游流下来的水最后在盱眙以东滞留，很快成为水面宽大的洪泽湖。
黄河夺淮一直到清咸丰五年（1850）才改道北上，这其间700余年中，淮河的泥沙含量越来越高。洪泽湖形成后，淮河上中游水来到这里流速顿时慢下来，输沙能力更弱，因此大量泥沙沉于湖底，使湖底日益升高，湖周围的人们只得不断加高加固大堤以防洪水。就这样，洪泽湖的大堤加高到了足有16米的高度，而湖底高度也在海拔10.5米上，超过了湖周围里下河平原的海拔高度，成为不折不扣的“悬湖”。
洪泽湖在治淮以前，洪泽湖汪洋一片，既无固定湖岸，又无一定形状。现在湖区的东部大堤宽50米，全长67公里，几乎全用玄武岩的条石砌成。远远望去，宛如一座横亘在湖边的水上长城。这条长堤不仅保护着下游地区的万顷良田和千百座村镇，而且拦蓄的丰富水源为航运、发电、灌溉提供了便利。