402年2月28日，大战正式展开，桓玄率军抵达姑孰，让他的将领冯该等人，攻击豫州州政府所在地历阳，朝廷方面的襄城郡长司马休之亲自登城自守。
桓玄接着派人切断了洞浦对外的交通线，并焚毁豫州州政府的所有船舰，豫州督导官、谯王司马尚之，率步兵九千人，在洞浦列阵，派武都郡长杨秋，驻军横江，而杨秋眼见敌我力量悬殊，居然弃械投降，部众瞬间溃散，司马尚之逃到滁河，被桓玄捕获，司马休之自知难以坚守，直接弃城而逃。
首回合下来，朝廷军队遭遇惨败，桓玄继续向建康推进。
镇北将军刘牢之，一向厌恶骠骑大将军司马元显，深怕桓玄一旦覆灭，司马元显会更加暴虐无理，自己也将受到猜忌，于是打算借桓玄的手，铲除当权官员，再利用桓玄的弱点，而由自己夺取政权，所以虽接到讨伐桓玄的号令，却并不着急实施。
而身为大军统帅的司马元显则每日每夜地饮酒，从不过问军国大事，任命刘牢之为前锋司令之后，并没有后续的指示，甚至也没有必要的交流，放任刘牢之坐观成败。
桓玄也忌惮刘牢之的战力，得知这一情形，便派刘牢之的堂舅何穆前往游说：“自古以来，人臣如果手握震主的兵权，又建立无法再赏的功勋，而最终仍能保全性命的，有几个？倒是功成名就后就惨遭杀戮的人，一个接着一个，文种、白起、韩信等人都是前车之鉴！
他们事奉的还都是英明的君主，反观司马家的这帮人，个个凶恶愚昧，你认为将来会有活路吗？你如果参与战争，无论是胜是败，最终都难逃一死！
可是为了家族考虑，也许可以选第三条路，况且桓玄与你并无深仇大恨，堂堂大丈夫，为何要被别人利用？”
刘牢之在此之前，如果还有回心转意的打算，但当听了何穆的话，终于下定决心按兵不动，并秘密与桓玄保持联络。
东海郡首府警备区司令何无忌，是刘牢之的外甥，与刘牢之的儿子刘敬宣，以及刘牢之的军事参议官刘裕，全都认为应该讨伐桓玄，但刘牢之拒不采纳，刘敬宣劝道：“现在国家衰弱，天下治乱的关键，全在你和桓玄掌握，桓玄依靠父亲和叔叔留下的权位声望，盘据古楚国的疆域，事实上国家的三分之二都被他割据，一旦放纵他凌辱朝廷，威望就会更高，恐怕对他再也无可奈何了！”
刘牢之顿时大发雷霆：“你说的那点基本的常识，我难道不知？可是今天的问题是，击败桓玄并不困难，甚至可以说易如反掌，但平定桓玄之后呢？司马元显会放过我？那时候朝廷威望重振，我如何应对杀身之祸？”
他这么说也有道理，部属们全都默然以对。
而且刘牢之也有自己的小算盘，只不过局势瞬息万变，当他与桓玄结盟，终于彻底步入了毁灭的深渊。
3月1日，刘牢之派刘敬宣晋见桓玄，明确表明自己中立的态度。
桓玄早已打算除掉刘牢之，但此时时机尚不成熟，所以表面上仍然很友好，摆下豪华的酒宴，招待刘敬宣，陈列近些年来著名的书法绘画作品，陪同刘敬宣一一观赏，并任命刘敬宣为高级军事参议官。
刘敬宣对于这种笑里藏刀的殷勤并没有警觉，但桓玄左右陪同的官员却都心中有数，互相挤眉弄眼，俨然把刘敬宣当猴耍了。
刘牢之虽然一厢情愿地认为自己只是保持中立，但在广大群众来看，他或是主动出击，或是迎风投降，没有第三条路可走，显然东晋国民一致认为刘牢之害怕桓玄，所以无条件投降了。
出现这种舆论，对于刘牢之可是大大的不妙，对于东晋政府来说，更是灾难。
北府兵团是当时的王牌军队，桓玄居然能把他们降服，政府军哪还有勇气与之对抗，纷纷弃械投降，司马元显眼看着手下的士兵一个个逃散，却终究无计可施，狼狈地投奔父亲司马道子的东府，询问破敌之策，但司马道子比他还昏庸，只是一味地喝酒抹泪而已。
桓玄顺利攻入建康，或者说根本就是堂而皇之地入驻建康，沿途完全没有遇到抵抗，基本上先锋部队吼一嗓子就能开路净街。
3月4日，桓玄宣称接到皇帝的诏书，解除全城戒严状态，并自任总管文武百官、全国各军区总司令长官、丞相、主管朝廷机要、京畿卫戍总司令官、徐荆江三州督导官，假黄铖。
实际上从这一刻起，桓玄已完全掌控朝廷，接下来就要组建自己的领导班子，任命桓伟担任荆州督导官，桓谦担任政府左副行政长官，桓修担任徐兖二州督导官，桓石生担任江州督导官，卞范之担任首都建康市长，王谧担任立法院总立法长，殷仲文担任高级咨询官，刘迈担任军事参议官。
这些人里面，桓伟、桓谦、桓石生和卞范之，都是跟随桓玄一起造反的亲信；桓修则因为是同族的关系，虽然并不受行风，但也跟着沾了光；王谧是王导的孙子，和刘迈一样，都是望风使舵的行家，眼看司马家衰弱，立马向桓玄投诚，马屁拍得响了，自然少不了好处；殷仲文是殷觊的弟弟，更重要的是桓玄的姐夫，有这层关系，混个一官半职的也就不稀奇了。
第二天，有关单位向皇帝呈上奏章，弹劾司马道子酗酒不孝，应绑赴刑场斩首示众。