জনশ্রুতি আছে, পঞ্চানন চৌধুরী নামের এক ব্যক্তি একসময় খুবই দরিদ্র ছিলেন। কিন্তু দিনাজপুর অঞ্চলে তামাক উৎপাদন করে প্রচুর ধনসম্পত্তির মালিক বনে যান। এরপর মানিকগঞ্জের শিবালয় উপজেলার তেওতা গ্রামে একটি প্রাসাদসম বাড়ি নির্মাণ করেন এবং নিজেকে তেওতার প্রথম জমিদার হিসেবে প্রতিষ্ঠিত করেন। ধারণা করা হয়, প্রায় ৩০০ বছর আগে ১৭০০ শতকের দিকে প্রায় সাড়ে ৭ একর জায়গার ওপর ৫৫ কক্ষবিশিষ্ট তেওতা জমিদারবাড়ির গোড়াপত্তন করা হয়। ১৯৫৭ সাল থেকে জমিদারবাড়িটি অযত্ন-অবহেলায় পরিত্যক্ত থাকলেও বাড়ির সামনে ১৮৫৮ সালে প্রতিষ্ঠিত নবরত্ন মন্দিরটি এখনো অক্ষত অবস্থায় রয়েছে। তেওতা জমিদারবাড়ির পাশেই থাকতেন প্রমীলা দেবীরা। বিদ্রোহী কবি কাজী নজরুল ইসলাম প্রমীলাকে এই বাড়িতে প্রথম দেখে প্রেমে পড়েন। তাঁদের প্রেমের সাক্ষ্য বহন করছে জমিদারবাড়িটি।