Sudah disebutkan bahwa ada segolongan umat Islam yang belum merasa puas dengan pendekatan diri kepada Tuhan melalui ibadah shalat, puasa, dan haji.  Mereka ingin merasa lebih dekat lagi dengan Tuhan.  Jalan untuk itu disebut tasawuf.

Pada abad I Hijriyah bagian kedua, lahirlah Hasan Basri, seorang zahid pertama dan termasyur dalam sejarah tasawuf.  Ia lahir di Madinah pada tahun 642 M, dan meninggal di Basrah pada tahun 728 M.  Hasan Basri tampil pertama dengan membawa ajaran khauf dan raja’, mempertebal takut dan harap kepada Tuhan, setelah itu tampil pula guru-guru yang lain, yang dinamakan qari’, mengadakan gerakan pembaharuan hidup kerohanian di kalangan kaum muslimin.

Kemudian pada akhir abad II Hijriyah, muncul Rabi’ah al ‘Adawiyah (w. 185 H), seorang sufi wanita yang terkenal dengan ajaran cintanya (hubb al-ilah).  Selanjutnya pada abad II Hijriyah ini, tasawuf tidak banyak berbeda dengan abad sebelumnya, yakni sama dalam corak kezuhudan.  Saat itu mulai ada sebagian yang menampilkan istilah-istilah yang pelik seperti mengenai kebersihan jiwa (thaharah al-nafs), kemurnian hati (naqy al-qalb), hidup ikhlas, menolak pemberian orang, bekerja mencari makan dengan usaha sendiri, berdiam diri, seperti yang dianjurkan oleh Ali Syaqiq al-Balkhy, Ma’ruf al-Karkhy dan sebagainya; menyedikitkan makan, memerangi hawa nafsu dengan khalwat, melakukan perjalanan (safar), berpuasa, mengurangi tidur (sahir), serta memperbanyak dzikir dan riyadhah, seperti yang acap kali dianjurkan oleh Ibrahim ibn Adham.  Selanjutnya memberikan arti yang istimewa kepada istilah-istilah yang sudah terhadap sebelumnya, seperti yang digambarkan oleh Malik Ibn Dinar dalam Syathahatnya (Abu Bakar Aceh, tt.)

Tasawuf pada abad III dan IV Hijriyah sudah mempunyai corak yang berbeda sama sekali dengan tasawuf abad sebelumnya.  Pada abad ini tasawuf sudah bercorak kefana’an (ekstase) yang menjurus ke persatuan hamba dengan Khalik.  Orang sudah ramai membahas tentang lenyap dalam kecintaan (fana’fi al-Mahbub), bersatu dengan kecintaan (ittihad bi al-Mahbub), kekal dengan Tuhan (baqa’bi al-Mahbub), menyaksikan Tuhan (musyahadah), bertemu dengan-Nya (liqa’) dan menjadi satu dengan-Nya (‘ain al-jama’) seperti uang diungkapkan oleh Abu Yazid al-Bushtham (216 H), seorang sufi dari Persia pertama kali mempergunakan istilah fana’ (lebur atau hancurnya perasaan) sehingga dia dianggap sebagai peletak batu pertama dalam aliran ini.

Lebih jauh Abu al-Wafa menegaskan, bahwa tasawuf pada abad III dan IV Hijriyah lebih mengarahkan kepada ciri psikomoral, dan perhatiannya diarahkan pada moral serta tingkah laku.  Sementara kecenderungan metafisis yang muncul tidak secara jelas.  Meskipun terdapat ungkapan tentang kefanaan dan penyakdian serta adanya ungkapan-ungkapan syathahiyat, namun itu semua termasuk kategori-kategori teori filsafat tentang metafisika, yang membahas hubungan manusia dengan Allah SWT.

Pada abad III dan IV Hijriyah, terdapat dua aliran.  Pertama, aliran tasawuf sunni yaitu bentuk tasawuf yang memagari dirinya dengan Al-Qur’an dan al-Hadis secara ketat, serta mengaitkan ahwal (keadaan) dan maqamat (tingkatan tuhaniah) mereka kepada kedua sumber tersebut.  Kedua, aliran tasawuf”semi falsafi”,  di mana para pengikutnya cenderung pada ungkapan-ungkapan ganjil (syathahiyat) serta bertolak dari keadaan fana’ menuju pernyataan tentang terjadinya penyatuan (ittihad dan hulul)         ( Abu al-Wafa, 1970).

Tasawuf pada abad V Hijriyah mengadakan konsolidasi.  Pada masa ini ditandai kompetisi dan pertarungan antara tasawuf semi falsafi dengan tasawuf sunni.  Tasawuf sunni  memenangkan pertarungan, dan berkembang sedemikian rupa, sedang tasawif semi falsafi  tenggelam dan akan muncuk kembali pada abad VI Hijriyah dalam bentuknya yang lain.  Kemenangan tasawuf sunni  ini dikarenakan menangnya alirang theologi Ahl Sunnah wa al-Jama’ah  yang dipelopori oleh abu al-Hasan al-Asy’-ary (w.324 H), yang mengadakan kritik pedas terhadap teori Abu Yazid al-Bushthamy dan al-Hallaj, sebagaimana tertuang dalam syathahiyatnya yang Nampak bertentangan dengan kaidah dan akidah Islam.  Oleh karena itu tasawuf pada abad ini cenderung mengadakan pembaharuan atau menurut istilah Annemarie Schimmael merupakan periode konsolidasi, yakni periode yang ditandai pemantapan dan pengembalian tasawuf ke landasannya, al-Qur’an dan al-hadis.

Ringkasnya al-Ghazali patut dinilai berhasil dalam mendiskripsikan jalan menuju Allah SWT. sejak permulaan dalam bentuk latihan jiwa, lalu menempuh fase-fase pencapaian rohoani dalam tingkatan-tingkatan (maqamat) dan keadaan (ahwal) menurut jalan tersebut, yang akhirnya sampai pada fana’ tauhid, ma’rifat dan kebahagiaan.  Al-Ghazali mempunyai jasa besar dalam dunia Islam.  Dialah orang yang mampu memadukan antara tiga kubu keilmuan Islam, yakni tasawuf, fiqh, dan ilmu kalam, yang sebelumnya terjadi ketegangan.

Setelah tasawuf semi falsafi mendapat hambatan dari tasawuf Sunni tersebut, maka pada abad VI Hijriyah, tampillah tasawuf falsafi, yaitu tasawuf yang bercampur dengan ajaran filsafat, kompromi dalam  pemakaian term-term filsafat yang maknanya disesuaikan dengan tasawuf.  Oleh karena itu, tasawuf yang berbau filsafat ini tidak sepenuhnya bisa dikatakan tasawuf, dan juga tidak bisa dikatakan sebagai filsafat.  Karena itu sebut saja tasawuf falsafi,  karena di satu pihak memakai term-term filsafat, namun secara epistimologis memakai dzauq/intuisi/wujdan (rasa).

Adapun methode pencapaian tujuan tasawuf sama dengan tasawuf sebelumnya, baik mengenai muqamat, ahwal, riyadhah, mujahadah, dzikir, mematikan kekuatan syahwat, maupun yang lainnya.

A.J. Arberry menyatakan, bahwa masa Ibn Araby, Ibn Faridh, dan al-Rumy adalah masa keemasan gerakan tasawuf, secara teoritis ataupun praktis.  Pengaruh dan praktek-praktek tasawuf kian tersebar luas melalui thariqah-thariqah,  dan para sulthan serta pangeran tak segan-segan pula mengeluarkan perlindungan dan kesetiaan pribadi mereka.  Contohnya paling menonjol ialah figure terhormat Dharma Syekh, putra Kaisar Mogul, Syekh Johan, yang menulis sejumlah kitab, di antaranya al-Majma’ al-Bahrain, di dalamnya dia mencoba merujukkan teori tasawuf Vedanta.

Orang yang berilmu pengetahuan dan beriman, baik masa dahulu maupun sekarang, tidak ada kemiripan dengan ahl al-ittihad dan ahl al-hulul yang bathil, mereka adalah orang Islam dan  Ahl Sunnah wa al-Jama’ah, mereka termasuk ahl al-ma’rifah dan ahl al-yaqin, diberi sinar Al-Qur’an.

 Ibnu Taimiyah lebih cenderung bertasawuf sebagaimana yang pernah diajarkan Rasulullah saw, yakni menghayati ajaran Islam, tanpa mengikuti aliran thariqah tertentu, dan tetap melibatkan diri dalam kegiatan sosial, sebagaimana manusia pada umumnya.  Tasawuf model ini yang cocok untuk dikembangkan di masa modern seperti sekarang.