Pada tanggal 16 Januari 1962, pukul 4 pagi, Sjahrir ditangkap dikediamannya di Jalan Jawa no. 61 (sekarang jl. H.O.S. Cokroaminoto). Tokoh lain yang ditangkap adalah Anak Agung Gde Agung, Soebadio Sastrosatomo, dan Sultan Hamid II. Tokoh Masjumi yang ditangkap adalah Prawoto Mangkusasmito, Yunan Nasution, Kiai H. Isa Anshary, dan Moh. Roem.
Sjahrir beserta tahanan politik lainnya, awalnya ditahan di Asrama Militer di Jalan Hayam Wuruk Jakarta Pusat. Kemudian dipindahkan ke sebuah rumah di Jalan Daha, Kebayoran Baru Jakarta Selatan. Tiga bulan kemudian dipindahkan ke penjara di Madiun, disana mereka ditempatkan di rumah tahanan militer di Jalan Wilis. Ketika mejalani masa tahanannya di Madiun, Sjahrir lebih banyak menghabiskan waktunya untuk membaca buku dan menuliskan hal-hal yang menjadi keresahannya.
Tahun 1962, Sjahrir menderita tekanan darah tinggi setelah mengalami perawatan di Rumah Sakit Angkatan darat RS Gatot Subroto. Kemudian ia dipindahkan ke penjara di jalan Keagungan dari tahun 1963 hingga tahun 1964. Kemudian pada Februari 1965, ia dipindahkan ke Rumah Tahanan Militer (RTM) di Jalan Budi Utomo.
Di suatu malam, Sjahrir pingsan karena terkena stroke, namun ia tidak segera mendapat pertolongan medis. Baru keesokan harinya ia dilarikan ke rumah sakit, setelah melakukan operasi ternyata Sjahrir tidak bisa lagi bicara. Istrinya mengusahakan agar ia berobat ke luar negeri, Presiden Seokarno mengizinkan agar ia berobat ke luar negeri namun statusnya tetap sebagai tahanan. Presiden mengizinkan Sjahrir berobat kemanapun kecuali ke Belanda. Tanggal 21 Juli 1965, Sjahrir beserta istri dan kedua anaknya berangkat dari bandara Kemayoran menuju Zurich Swiss.
Dokter di Zurich ternyata tidak dapat menyembuhkan Sjahrir, ia mengalami pendarahan di otak. Selama tujuh hari ia dalam keadaan koma. Tanggal 9 April 1966, ia meninggal dengan tenang dalam usia 57 tahun. Tanggal 15 April 1966, radio, pers, dan televisi Indonesia menyiarkan dekrit yang ditandatangani Presiden Soekarno, dekrit yang bertanggal saat Sjahrir meninggal, dekrit itu menyatakan Sjahrir sebagai Pahlawan Nasional. Jenazahnya dikembalikan ke Indonesia dan tiba pada 17 April.