Çocukluğundan beri yazar olmak istemesine rağmen değişik hobileri olmuştur. Çizgiromanlar çizdi, bir punk grubunda solistlik yaptı ve domuz yetiştiriciliği yaptı. Amerikan polisiyeleri çok seviyordu, özellikle Shaft adlı karaktere tutkundu. Bu nedenle daha sonra en önemli kahramanı olan Rebus'a da Shaft'in adını vermişti "John". Aynı karakterin sinema filmleri için ise, Rankin fazla gençti. Üniversitede Rankin ağırlıklı olarak İngiliz Edebiyatı'nı okur (Edinburgh'da). O dönemde de öykü yazmaya başlar. Hatta yayınlanmayan bir roman da o döneme aittir. İlk Rebus romanı "Knotts & Crosses" ile başarı kazanan Rankin, bu başarıyı tesadüflere de borçludur. Öyle ki, konusu için bilgi almak istediği polis şubesi, o anda benzeri bir olay üzerinde çalıştığından, Rankin'i şüpheliler listesine dahil eder. Knotts & Crosses adlı romanını yayınladıktan sonra, kitapçıların bu kitabı Agatha Christie'lerin yanına koyduklarını görünce, şaşırır. Edebiyat dergilerde, hiç bir eleştiri bulamayınca yayınevini arar. Yayınevi, ona "polisiye" kısmına bakmasını öğütler. Ve işte orada bulur: "Onların bir hata yaptığını düşündüm. Ben polisiye yazmak değil, sadece okuyucu ile oyun oynamak istemiştim. Doktoramı bitiriyorum. Sonra İngiliz Edebiyatı Profesörü oluyorum... sonunda ise bir 'Whodunit' yazıyorum." Rankin kitaplarını raflardan alıyor ve onları "Scottish Fiction" bölümüne koyar. John Rebus romanlarına ise, ara verir. 1990 yılında le Care stilinde "The Watchman" adlı bir roman yazar.

John Rebus Serisi:
1987 Knotts & Crosses (Düğümler ve Haçlar)
1991 Hide & Seek (Saklambaç)
1992 Wolfman / Tooth & Nail (Diş İzleri)
1992 Strip Jack (Masadaki Düşman)
1993 The Black Book (Kara Kaplı Defter)
1993 Mortal Causes (Öldürmek Ülküsü, Ölümcül Hedefler)
1995 Let it Bleed (Bırakın Kanasın)
1997 Black & Blue (Siyah ve Mavi)
1998 The Hanging Garden(Asma Bahçe)
1999 Dead Souls(Ölü Ruhlar)
2000 Set in Darkness(Karanlıktakiler)
2001 The Falls (Şelale)
2002 Resurrection Men (Diriliş Adamları)
2003 A Question of Blood
2004 Fleshmarket Close (Et Pazarı)
2006 Naming of the Dead (Ölüleri Anmak)
2007 Exit Music (Veda Müziği)
2012 Standing in Another Man's Grave (Başkasının Mezarı)
2013 Saints of the Shadow Bible
2014 In the Nick of Time (Bir Roy Grace & Rebus Macerasi, Peter James ile Birlikte)
2015 Even Dogs in the Wild
2016 Rather Be the Devil
2018 In a House of Lies
2020 A Song For The Dark Times

Jack Harvey Serisi:
1993 Witch Hunt
1994 Bleeding Hearts
1995 Blood Hunt

Malcolm Fox Serisi:
2009 The Complaints (Komplo)
2011 The Impossible Dead

Romanlar:
1986 The Flood
1988 Watchman
1990 Westwind
1998 Death Is Not the End
2007 Doors Open
2021 The Dark Remains