শায়খ আবদুর রহীম ১৯৫১ সালে ঐতিহ্যবাহী সংগঠন জমিয়তে উলামায়ে পাকিস্তানের সেক্রেটারি জেনারেল নিযুক্ত হন। সে সময় উক্ত সংগঠনের সভাপতি ছিলেন মাওলানা আতহার আলী (রহ.)।

শায়খ আব্দুর রহীম একজন খ্যাতিমান লেখক ছিলেন। তিনি ইসলামের বিভিন্ন বিষয়ে গ্রন্থ ও প্রবন্ধ রচনা করেছেন। তার মধ্যে উল্লেখযোগ্য হলো—

১. ‘তাজরীদুল বুখারি’-এর প্রথম খণ্ডের অংশবিশেষ অনুবাদ করেন।

২. ইমাম তিরমিযীর শামায়েল-ই-তিরমিজির প্রথমার্ধের বাংলা অনুবাদ করেন এবং এর টীকায় সংশ্লিষ্ট হাদিসগুলোর বরাত, রাবিদের সংক্ষিপ্ত পরিচয় ও কঠিন শব্দগুলোর বিশ্লেষণ করেন।

৩. আরবি ব্যাকরণ ও আরবি সাহিত্য (মাধ্যমিক ও উচ্চ মাধ্যমিক শিক্ষা বোর্ড)

৪. ‘বুলুগুল মারাম’ হাদিসগ্রন্থের বঙ্গানুবাদ ও ব্যাখ্যা

৫. রমজান ও তাসাউফ

৬. মসজিদের ইমামের শিক্ষার মান, তাদের দায়িত্ব ও কর্তব্য।

তিনি ১৯৭৩ সালের ২৯ এপ্রিল রবিবার ঢাকায় ইন্তেকাল করেন। মৃত্যুকালে তাঁর বয়স হয়েছিল ৬৯ বছর।