Namun, partai itu gagal dalam Pemilu 2004. Setelahnya, Jumhur meninggalkan kegiatan politik dan lebih memilih dunia pergerakan.
Dia sempat bergabung pula dengan organisasi Gabungan Serikat Pekerja Merdeka Indonesia (Gaspermindo).
Kemudian, kariernya naik saat ditunjuk sebagai Kepala Badan Nasional Penempatan dan Perlindungan TKI (BNP2TKI) pada 2007.
Jumhur menjabat selama tujuh tahun, hingga pada 2014 Presiden Susilo Bambang Yudhoyono (SBY) memberhentikan dirinya melalui Surat Keputusan pemberhentian yang ditandatangani SBY pada 11 Maret 2014.
Berdasarkan catatan pemberitaan Kompas.com, Jumhur diberhentikan SBY dengan alasan penyegaran.
Jumhur telah menjabat lebih dari tujuh tahun. Dalam Pasal 117 Ayat (1) Undang-Undang Nomor 5 Tahun 2014 antara lain diatur bahwa jabatan pimpinan tinggi hanya dapat diduduki paling lama 5 (lima) tahun.
Oleh karena itu, pejabat eselon I, yang sudah lebih dari 5 tahun menduduki jabatan yang sama, harus dimutasi ke jabatan lain, atau diberhentikan.
Namun, ada juga yang mengaitkan pemecatan Jumhur dilakukan setelah dia bergabung dengan PDI-P.
Sementara itu, berdasarkan catatan pemberitaan Tribunnews.com, di tahun yang sama Jumhur Hidayat mendirikan Aliansi Rakyat Merdeka (ARM) dan mendukung pemenangan PDI-P serta pencalonan Joko Widodo (Jokowi) sebagai calon Presiden pada Pemilu 2014.