Güney Almanya'nın Mainz şehrinde, bir işçi ailesinin oğlu olarak dünyaya geldi. Henüz 10 yaşındayken babasını kaybeden Rocker, çocuk yaşta çalışmaya başladı. Almanya’da işçi hareketinin yükseldiği bu yıllarda Rocker, genç bir mücellit olarak Alman Sosyal Demokrat İşçi Partisi’ne katıldı. Kısa bir süre içinde parti bürokrasisine karşı mücadele eden Jungen grubuyla yakınlaştı. Ancak, bu grup partiden ihraç edilmeden önce, Rocker, delege olarak katılmış olduğu İkinci Enternasyonalin 1891 Brüksel Kongresinde anarşizme kaymıştı.

1892'de yasadışı propaganda çalışmaları nedeniyle polis tarafından aranmaya başlayınca Almanya'dan kaçtı. Birkaç yıl Paris’te kaldıktan sonra Londra'ya geçti. Londra'da, Yahudi anarşistlerin yayımladığı Der Arbeiter Fraint (İşçi Arkadaş) dergisiyle ilişki kurdu ve onların konuştuğu Yiddiş  dilini öğrendi. Daha sonraki yıllarda da bu derginin editörü oldu. 1912’de Der Arbeiter Fraint'i günlük gazeteye dönüştüren Rocker, Alman uyruklu olması nedeniyle I. Dünya Savaşı boyunca İngilizler tarafından esir tutuldu. 1918’de esir değişimi anlaşması çerçevesinde Hollanda'ya götürülerek serbest bırakıldı. 1919 Devrimi arifesinde Almanya’ya dönen Rudolf Rocker, savaş yılları boyunca gizli faaliyet sürdüren savaş karşıtı sendikalistlere katıldı. Sonraki yıllarda FAU (Özgür İşçi Birliği) olarak örgütlenen bu hareketin önemli bir propagandisti oldu.

Naziler’in ünlü Reichstag yangınından sonra Almanya’ dan tekrar kaçmak zorunda kalan Rocker, kısa bir süre İsviçre ve Fransa’da kaldıktan sonra, 60 yaşında bir sürgün olarak Amerika’ya göç etti. Ömrünün geri kalan 25 yılını Amerika’da yaşayan Rocker, pek çok dergi ve gazetenin editörü, bir dizi kitabın yazarı, uluslararası anarşist hareketin ve anarko-sendikalizmin yetenekli bir propagandistiydi.