মোগল সম্রাট আকবরের শাসনামলে তাঁর জ্যেষ্ঠ পুত্র যুবরাজ সেলিম অর্থাৎ জাহাঙ্গীর বিদ্রোহ করে বাংলায় চলে আসেন। বর্তমান পিরোজপুর, ঝালকাঠি ও বাগেরহাট জেলার কিছু অংশ নিয়ে তিনি ‘সেলিমাবাদ’ নামে একটি পরগনা সৃষ্টি করেন। পরে ওই এলাকার রাজস্ব আদায়ের দায়িত্ব দেন মদনমোহনকে। মদনমোহন তাঁর ছেলে শ্রীনাথকে রাজস্ব আদায়ের দায়িত্ব দেন। নিষ্ঠাবান শ্রীনাথ মোগল সম্রাট কর্তৃক ‘রাজা’ উপাধি পান। শ্রীনাথের ছেলে রুদ্র নারায়ণ রায় চৌধুরী পিরোজপুরের অদূরে বনজঙ্গল কেটে রাজবাড়ি ও মন্দির প্রতিষ্ঠা করেন। ফলে এই জমিদারবাড়ির নাম হয় রায়েরকাঠি। কথিত আছে, তিনি কালীমন্দির প্রতিষ্ঠা করতে গিয়ে নিম্নবর্ণের পাঁচজন হিন্দুর মুণ্ডু কেটে তার ওপর মূর্তি স্থাপন করেন। এই নিষ্ঠুরতার জন্য সুবেদার শাহবাজ খান তাঁকে মৃত্যুদণ্ড দেন। হাজার হাজার মানুষের সামনে তাঁকে বাঘের খাঁচায় ঢুকিয়ে দেওয়া হয়। কিন্তু রুদ্র লড়াই করে বাঘটিকে মেরে ফেলেন। এই ঘটনায় সুবেদার তাঁর মৃত্যুদণ্ড মওকুফ করে দেন। এখনো পিরোজপুর সদরে সেই জমিদারবাড়ির ধ্বংসাবশেষ দেখা যায়।