গাইবান্ধা জেলার মীরের বাগান একসময় ছিল বন-জঙ্গলে ভরা। ১৯০০ সালে সৈয়দ ওয়াজেদ আলী নামের এক দরবেশ এদিকটায় এসে জঙ্গল পরিষ্কার করতে গিয়ে খুঁজে পান একটি মসজিদ ও তিন আউলিয়ার মাজার। মসজিদটির দেয়ালে খোদাই করা লিপি থেকে জানা যায়, এটি হাজার বছর আগে ১০১১ সালে নির্মিত। মসজিদের ভেতর থেকে পাওয়া একটি কালোপাথরেও এই তথ্য ছিল। কিন্তু পরবর্তীকালে তা হারিয়ে যায়। সৈয়দ ওয়াজেদ আলী মসজিদ ও মাজার সংস্কার করে সেখানে নামাজ আদায়ের ব্যবস্থা করেন। বাংলায় মুসলিম শাসন প্রতিষ্ঠার আগে ইরাক থেকে এই অঞ্চলে শাহ্ সুলতান গাজী, মীর মোশাররফ হোসেন ও ইবনে শরফ উদ্দিন হোসেন আসেন ইসলাম ধর্ম প্রচার করার জন্য। এই তিন আউলিয়ারই মাজার রয়েছে মসজিদের পাশে। আর মসজিদটি পরিচিতি পেয়েছে সুলতান গাজীর নামে—মীরের বাগানের ঐতিহাসিক শাহ্ সুলতান গাজী জামে মসজিদ।