Tuğrul Bey’in oğlu yoktu. Vezir El-Kündüri, Çağrı Bey’in oğullarından ve Alp Arslan’ın kardeşlerinden Şehzade Süleyman’ı Büyük Selçuklu tahtına oturttu. Birçok Türk beyi bu cülusa karşı çıktılar ve Alp Arslan Beye bağlılıklarını bildirdiler.
Alp Arslan da Süleyman’ın sultan olmasına karşı çıktı. Alp Arslan, Bağdat Halifesi Kaim Biemrillah’ın topladığı bir mecliste sultan ilan edildi.Bu sırada taht için hak iddia eden Kutalmış da Alp Arslan’a karşı ayaklandı. Bu ayaklanma hayatını kaybetmesiyle sonuçlandı (1064).
Alp Arslan vezirliğe Büyük Selçuklu Devleti teşkilatının düzenlenmesinde, ülkenin iç ve dış siyasetinin belirlenmesinde önemli rol oynayacak olan Nizamülmülk’ü getirdi. Alp Arslan ilk seferini Tuğrul Bey’in batı siyasetine uygun olarak Azerbaycan ve Kafkasya üzerine yaptı. Şirvan ve Gürcistan’ı alarak Bizans topraklarına girdi.1064 yılına kadar Ermeni krallığının merkezi olan Ani’yi fethetti(1064). Bizans’ın önemli kalelerinden olan Ani’nin fethi İslam dünyasında büyük yankı uyandırdı. Abbasi halifesi Alp Arslan’a ebul feth(fetih babası) unvanını verdi.
Alp Arslan, ağabeyi Kavurd’un isyan etmesi üzerine Kafkasya seferini yarıda bırakarak Kavurd Bey’in bulunduğu Kirman’a sefere çıktı. Kavurd Bey beklemediği bu durum karşısında şaşırdı ve Sultan’ı karşılamaktan başka çare bulamadı. Bağlılığını bildirerek af diledi. Böylece Kavurd’un ilk isyan girişimi çabuk kapandı(1064).
1065 yılında doğu seferine çıkan Alp Arslan, Hazar Denizi’nin Mangışlak Yarımadası civarında yaşayan Türkleri itaat altına aldı. Buradan atalarının daha önce yaşamış olduğu Cend’e kadar giderek dedesi Selçuk’un mezarını ziyaret etti. Selçuklu topraklarına giren Batı Karahanlılar üzerine sefer düzenleyen Alp Arslan onları anlaşma yapmaya zorladı. Dostluk ilişkilerinin devamı için oğlu Melikşah’ı Karahanlı hanedanından olan Terken Hatun ile evlendirdi.
Alp Arslan 1067 yılı içinde bir taraftan Aral Gölü’nün kuzey ve doğusunda ki Türk ülke ve boylarını itaat altına alırken emirlerinden bazı beyleri Anadolu’ya akınlar yapmaya görevlendirmişti. Bunlardan Gümüştekin, Afşin ve Ahmetşah, Fırat ve Dicle nehirleri arasındaki Doğu Anadolu’da birçok zaferler kazandılar. Anadolu’da Bizans sınırlarında “uç” bölgesi akıncı beyleri komutanı olan Afşin, Bizans İmparatorluğu’nun önemli bir kuvvetini Malatya civarında dağıtmış, Kayseri’yi fethederek Gesi bölgesini ele geçirmişti. Afşin Bey, Orta Anadolu’ya, hatta Marmara kıyılarına kadar akınlarda bulunduktan sonra, Kilikya (Çukurova) yoluyla geri dönmüştü. Alp Arslan 1068’de ikinci defa Aras Nehri’ni geçti ve Gürcistan’a girdi. Gürcü kralı Bagrat, Sultan’a bağlılığını arz etti. Sultan Alp Arslan bundan sonra Horasan’a döndü. Şehzadelerle beylerden bir kısmını Anadolu’ya gaza için gönderdi.
