阿骨打繼位之後，面臨的主要社會問題是女真族奴隸制社會發展與契丹族民族壓迫的矛盾。時值遼國末年，契丹對女真壓迫日趨加劇，其徵索名目也更為繁多，尤以徵貢海東青與“打女真”為苛重，激起女真人民的憤恨和反抗。遼國皇室以圍獵為賞心樂事，鷹坊裡餵養著許多獵鷹。最好的獵鷹叫“海東青”，生息在混同江（即松花江）下游的濱海地區。濱海地區還盛產“北珠”，為遼國皇室所珍愛，又是遼宋植場貿易的名貴貨品。遼每年都要派出使者，帶著隨從兵丁和鷹坊子弟上千人馬，到女真境內的黑龍江、混同江沿岸，收購、捕捉海東青，採北珠。“使者貪縱，徵索無度，公私厭苦之”。

他號稱“銀牌天使”到女真境內胡作非為，強迫女真族女子伴宿。起初只讓未婚的平民女子隨侍，後來，不問婚否，不論貧富貴賤，只要美女。女真以北珠、人參、生金、松實、白附子、密臘、麻布之類為市，契丹人以低價收購，且拘辱之，謂之“打女真”。“後多強取之，女真始怨”，“成欲稱兵以拒之”。公元1112年（遼天慶二年）三月，遼主耶律延禧（即天祚帝）在混同江大設“頭魚宴”，完顏阿骨打及其弟吳乞買、粘罕、胡舍等同去赴宴。酒席間，遼主命各部酋長次第起舞以助酒興，唯獨阿骨打拒舞抗命，說自己根本不會跳舞。遼主很生氣，想殺掉阿骨打以防後患，被眾人勸阻而沒殺成。

阿骨打對遼的沉重剝削和殘酷統治早已心懷不滿，隨著聯盟實力的增強，漸生反遼之意。混同江宴歸之後，他進一步吞併了居住在今輝發河流域的遼籍女真部落，其酋長趙三阿鶻產到鹹平奔訴於遼。遼遣使責問，並幾次傳訊阿骨打入朝，阿骨打稱病不去。至此，女真和遼的關係已到劍拔弩張之時了。為求女真族的生存和發展，阿骨打毅然舉起武裝反遼的旗幟。在起義之前，阿骨打幾次遺使去遼，一面要求遞解叛附遼國的敵手阿疏，一面刺探遼朝的虛實。在判明遼國政治腐敗、邊備鬆弛之後，他先發制人，作出攻取寧江州的決策。

他首先聚眾沿沫流河（今拉林河）右岸建城堡設防，修兵器，部署攻遼。因此受遼疑忌和責難，遼使阿息保來質問邊境多建城堡之故。阿息保歸報後，遼廷始做準備，決定調集渾河以北諸軍於寧江州（今吉林省扶余縣東石頭城子）。公元1114年（天慶四年）九月，阿骨打會合諸部善戰者二千五百人於沫流河畔（今拉林河口之西，松花江南岸石碑崴子屯）誓師，申討遼之罪狀，告於天地。他說“我女真世代貢奉遼國，盡職盡責，平定了烏春、窩謀罕之亂，破蕭海里之眾。遼國對我有功不獎，卻越加侵侮。罪人阿速，屢請不遣，今我問罪於遼，願天地明鑑，保佑我！”又說：“遼人知我將舉兵，集諸路軍備戰，我必先發制之。”

他率領眾將舉起武器共同發誓，並通告全軍“汝等同心協力，有功者，部曲為良，庶人官之，先有官者敘進，輕重視功。苟違誓言，身死挺下，家屬無赦”。隨後向寧江州進軍。十月三十日，女真軍一舉攻克寧江州，完顏阿骨打親自射殺遼將耶律謝十，遼軍亂了陣腳。阿骨打當機立斷，下令追擊，“盡敵而止”，抗遼戰爭首戰告捷。然後，派俘虜的渤海人南歸，宣傳“女真、渤海本同一家”，以同出一源為名，招諭渤海人，收到一定成效。又派女真完顏婁室等人以“同為一族”之情，招撫熟女真各部，使之成為金朝臣民。

十一月，遼廷命司空蕭嗣先為東北路都統，調集重兵屯駐出河店（今嫩江與第二松花江交匯處之北岸，黑龍江省肇源縣西部），阻止女真軍隊前進。女真軍潛渡混同江，襲擊遼軍，大破出河店，蕭嗣先倉皇敗逃，全師覆滅。而後，遼都統蕭糾裡等率步騎十萬，止於鴨子河北，阿骨打親自率三千七百甲士迎敵，搶先渡過鴨子河，與遼軍大戰於出河店。適逢大風，塵沙蔽天，女真軍順風勢衝殺過去。此時，遼軍士無鬥志，望風崩潰，在斡鄰濼又一次戰敗。女真軍獲許多軍器兵馬，鐵利、兀惹部均奔附之。

女真部民平時無徭役，壯男皆兵，平時漁政射獵，有警則下令徵集。遼史稱：相傳女真兵滿萬不可敵。此時女真兵力已發展到萬人之餘，陣容強大，掌握著戰爭主動權，遼更畏懼。阿骨打繼續領兵深入，連下賓、祥、威三州（今吉林農安境），打敗遼的援軍。在各次戰鬥中，充分表現出阿骨打的軍事和政治的才能，因而博得女真諸部的信任和擁護。勝利接踵而來，阿骨打的聲望和權威與日俱增，他成為女真人無可置疑的英雄了。