Sejak masa mudanya, Andi Yakub aktif dalam berbagai organisasi. Ia mengawali kiprahnya sebagai Wakil Presiden Mahasiswa di STIKES Nani Hasanuddin Makassar pada tahun 2007, di mana ia menunjukkan kepemimpinan yang kuat dalam memperjuangkan aspirasi mahasiswa. Pada tahun 2009, ia terpilih sebagai Sekretaris Umum Kesatuan Aksi Mahasiswa Muslim Indonesia (KAMMI) Daerah Makassar, sebuah organisasi mahasiswa yang berfokus pada pengembangan nilai-nilai Islam dan gerakan sosial. Setelah kembali ke kampung halamannya, ia menjabat sebagai Ketua Insan Cendekia Nunukan (ICN) pada tahun 2011, dengan fokus pada pemberdayaan pemuda dan pengembangan intelektual.

Selain aktif di bidang sosial dan organisasi, Andi Yakub juga memiliki pengalaman di sektor kesehatan. Pada tahun 2013, ia menjabat sebagai Ketua Komite Keperawatan di RSUD Nunukan. Dalam peran tersebut, ia berkontribusi dalam meningkatkan kualitas pelayanan keperawatan, mendukung pengembangan kompetensi tenaga kesehatan, dan mendorong pelayanan kesehatan yang lebih baik bagi masyarakat Nunukan.

Andi Yakub juga aktif dalam pembinaan spiritual Islam. Pada tahun 2021, ia diamanahkan sebagai Ketua Majelis Ulama Indonesia (MUI) Kecamatan Sebatik Barat, di mana ia membimbing umat dan memperkuat kesadaran spiritual masyarakat.

Karir politik Andi Yakub dimulai di Partai Keadilan Sejahtera (PKS) pada tahun 2012 sebagai anggota bidang Kaderisasi. Berkat dedikasi dan kiprahnya, ia diangkat menjadi Koordinator Daerah Pemilihan Pulau Sebatik pada tahun 2024. Tahun yang sama, ia terpilih sebagai anggota DPRD Kabupaten Nunukan, memperkuat perannya dalam memperjuangkan aspirasi masyarakat di berbagai sektor, termasuk pendidikan, infrastruktur, kesehatan, dan kesejahteraan sosial.