第一次是在公元前五世纪的春秋末期。当时统治长江下游一带的吴王夫差，为了北上伐齐，争夺中原霸主地位，调集民夫开挖自今扬州向东北，经射阳湖到淮安入淮河的运河（即今里运河），因途经邗城，故得名“邗沟”，全长170公里，把长江水引入淮河，成为大运河最早修建的一段。
第二次是在公元七世纪初隋朝统一全国后，建都洛阳，为了控制江南广大地区，使长江三角洲地区的丰富物资运往洛阳，隋炀帝于公元603年下令开凿从洛阳经山东临清至河北涿郡（今北京西南）长约1000公里的“永济渠”；又于公元605年下令开凿洛阳到江苏清江（淮阴）约1000公里长的“通洛渠”；再于公元610年开凿江苏镇江至浙江杭州（当时的对外贸易港）长约400公里的“江南运河”；同时对邗沟进行了改造。这样，洛阳与杭州之间全长1700多公里的河道，可以直通船舶。
第三次是在十三世纪末元朝定都北京后。为了使南北相连，不再绕道洛阳，元朝花了10年时间，先后开挖了“洛州河”和“会通河”，把天津至江苏清江之间的天然河道和湖泊连接起来，清江以南接邗沟和江南运河，直达杭州。而北京与天津之间，原有运河已废，又新修“通惠河”。这样，新的京杭大运河比绕道洛阳的大运河缩短了九百多公里。
