Pada muktamar PKB tahun 2002, Saifullah terpilih menjadi Sekretaris Jenderal PKB, itu merupakan hasil yang optimal setelah sebelumnya ia bersaing dengan Alwi Shihab memperebutkan posisi ketua umum.
Gus Ipul tercatat pernah menjabat sebagai Menteri Negara Percepatan Pembangunan Daerah Tertinggal pada Kabinet Indonesia Bersatu dari Oktober 2004 hingga Mei 2007. Salah satu pencapaiannya adalah dia tercatat sebagai Menteri yang paling sering “blusukan” di daerah – daerah tertinggal.
Konflik di tubuk PKB yang berakibat dicopotnya Saifullah Yusuf dari jabatan Sekjen PKB berimbas pada jabatan menteri ini. Karena tidak dianggap lagi sebagai representasi PKB lagi maka ia digantikan oleh Lukman Edy yang juga menggantikannnya sebagai Sekjen PKB.
Setelahnya, Saifullah Yusuf terpilih sebagai Wakil Gubernur Jawa Timur mendampingi Soekarwo dalam Pemilu Kepala Daerah dan Wakil Kepala Daerah Provinsi Jawa Timur yang diselenggarakan selama dua putaran (putaran pertama tanggal 23 Juli 2008 dan putaran kedua tanggal 4 November 2008). Pelantikannya dilaksanakan pada tanggal 12 Februari 2009 oleh Menteri Dalam Negeri Mardiyanto.
