বিজ্ঞানভিত্তিক গবেষণাপত্রের সারাংশ তৈরি করতে গিয়ে কৃত্রিম বুদ্ধিমত্তাভিত্তিক চ্যাটবটগুলো (লার্জ ল্যাঙ্গুয়েজ মডেল বা এলএলএম) বারবার ভুল করছে। তারা প্রায়ই মূল গবেষণার তথ্যকে অতিরিক্ত সরল করে ফেলে, এমনকি অনেক ক্ষেত্রে ভুলভাবে তথ্য উপস্থাপন করে আর নতুন সংস্করণের মডেলগুলো এই সমস্যায় বেশি জড়িয়ে পড়ছে বলে জানিয়েছেন গবেষকেরা।
প্রায় ৪ হাজার ৯০০টি গবেষণাপত্রের সারাংশ বিশ্লেষণ করে দেখা গেছে, চ্যাটজিপিটি, এললামা ও ডিপসিকের বিভিন্ন সংস্করণ মানব বিশেষজ্ঞদের তুলনায় পাঁচ গুণ বেশি তথ্য সরলীকরণ করে। যখন চ্যাটবটকে নির্ভুলতার ওপর জোর দিয়ে সারাংশ দিতে বলা হয়, তখন তারা বরং দ্বিগুণ হারে অতিরঞ্জিত উত্তর দেয়। গবেষণায় দেখা গেছে, নতুন মডেলগুলো পুরোনো মডেলের তুলনায় আরও বেশি তথ্য অতিরিক্তভাবে সাধারণ করে তোলে।
এই গবেষণা প্রকাশিত হয়েছে গত ৩০ এপ্রিল ‘রয়্যাল সোসাইটি ওপেন সায়েন্স’ জার্নালে।
ইউনিভার্সিটি অব বনের পোস্ট ডক্টরাল গবেষক উভে পিটার্স বলেন, ‘সাধারণীকরণ অনেক সময় নিরীহ বা সহায়ক মনে হলেও, এটি গবেষণার আসল অর্থ পাল্টে দিতে পারে। তিনি আরও বলেন, ‘আমরা এখানে এমন একটি পদ্ধতি উপস্থাপন করেছি, যেটা চিহ্নিত করতে পারে কোন জায়গায় মডেলগুলো অতিরিক্ত সাধারণীকরণ করছে।’
গবেষকেরা বলেন, এলএলএম মডেলগুলো অনেক স্তরের প্রক্রিয়ার মধ্য দিয়ে তথ্যগুলো সংক্ষিপ্ত করে, যেটা অনেক সময় তথ্যের সূক্ষ্ম অর্থ হারিয়ে ফেলতে পারে। বিশেষ করে বিজ্ঞানের ক্ষেত্রে। বিজ্ঞানভিত্তিক গবেষণার ফলাফল বিশ্লেষণে নির্দিষ্ট সীমাবদ্ধতা, প্রেক্ষাপট ও সতর্কতা থাকে—সেখানে সহজ, তবে নির্ভুল সারাংশ তৈরি করা খুবই কঠিন।
গবেষকেরা জানান, ‘আগের প্রজন্মের চ্যাটবটগুলো জটিল প্রশ্নে উত্তর দিতে অপছন্দ করত। তবে নতুন মডেলগুলো বরং আত্মবিশ্বাসীভাবে ভুল তথ্য দিয়ে থাকে।’
যেমন: একটি চিকিৎসাবিষয়ক মূল গবেষণায় লেখা ছিল, ‘চিকিৎসা পদ্ধতিটি নিরাপদ ও সফলভাবে সম্পন্ন করা সম্ভব।’ তবে ডিপসিকের এআই এই অংশ অনুবাদ করে—‘এটি নিরাপদ এবং কার্যকর চিকিৎসা পদ্ধতি।’ এ ধরনের সারাংশ চিকিৎসাবিদ্যার দৃষ্টিকোণ থেকে একটি বিপজ্জনক সাধারণীকরণ।
আরেকটি পরীক্ষায় দেখা গেছে, এললামা একটি ওষুধের ডোজ, ব্যবহারের সময়সীমা এবং প্রভাবসংক্রান্ত মূল তথ্য বাদ দিয়ে সারাংশ তৈরি করেছে, যার ফলে ওষুধটির কার্যকারিতার ক্ষেত্র প্রসারিত হয়ে গেছে। এ রকম সারাংশ দেখে চিকিৎসকেরা ভুল চিকিৎসা পদ্ধতি প্রয়োগ করতে পারেন।
এই গবেষণায় চ্যাটজিপিটিরর চারটি, ক্লদের তিনটি, এললামার দুটি এবং ডিপসিকের একটি সংস্করণ নিয়ে গবেষণা চালানো হয়েছে। গবেষকেরা জানতে চেয়েছিলেন, চ্যাটবটগুলো মানুষ থেকে প্রাপ্ত সারাংশকে আরও বেশি সাধারণ করে ফেলে কি না এবং নির্ভুলতার ওপর জোর দিলে সেটি উন্নত হয় কি না।
ফলাফলে দেখা গেছে, ক্লদ ছাড়া সব চ্যাটবট মডেলই সাধারণীকরণের ক্ষেত্রে নেতিবাচক ফলাফল দেখিয়েছে। নির্ভুলতার জন্য জোর দিলে মডেলগুলো আরও বেশি অতিরঞ্জিত সারাংশ দিয়েছে এবং মানুষের লেখা সারাংশের তুলনায় প্রায় পাঁচ গুণ বেশি সাধারণীকরণ করেছে।
সবচেয়ে বিপজ্জনক সাধারণীকরণ দেখা গেছে পরিমাণগত তথ্যকে অস্পষ্টভাবে উপস্থাপনের ক্ষেত্রে। চিকিৎসার ক্ষেত্রে এই ভুল উপস্থাপনাগুলো রোগীদের জন্য ঝুঁকিপূর্ণ চিকিৎসার বিকল্প তৈরি করতে পারে।
ক্লিনিক্যাল মেন্টাল হেলথ এআই কোম্পানি ‘লিম্বিক’-এর ভাইস প্রেসিডেন্ট বলেন ম্যাক্স রোলওয়েজ বলেন, ‘এই গবেষণা দেখিয়েছে পক্ষপাত সব সময় দৃশ্যমান হয় না—অনেক সময় এটি ঘটে নিঃশব্দে কোনো দাবি করার মধ্য দিয়ে।’ তিনি বলেন, ‘মেডিকেলে এখন চ্যাটবটের রুটিন কাজের অংশ সারাংশ তৈরি করা, তাই তাদের নির্ভরযোগ্যতা যাচাই করা জরুরি।’
কানাডাভিত্তিক কৃত্রিম বুদ্ধিমত্তা কোম্পানি ‘প্রাইভেট এআই’য়ের সিইও প্যাট্রিসিয়া থেইন মনে করেন, ভবিষ্যৎ গবেষণাগুলো আরও বিস্তৃত হওয়া উচিত—অন্যান্য বৈজ্ঞানিক কাজ, ইংরেজি ছাড়া অন্য ভাষার উপাত্ত এবং কোন ধরনের বৈজ্ঞানিক দাবিগুলো বেশি সাধারণীকরণে পড়ে, তা বিশ্লেষণ করা দরকার।
পিটার্স বলেন, ‘চ্যাটজিপিটি, ক্লদ এবং ডিপসিকের মতো টুলগুলো এখন মানুষের বিজ্ঞান বোঝার অন্যতম মাধ্যম হয়ে উঠেছে। যদি এর ওপর নির্ভরতা আরও বাড়ে, তাহলে আমরা একটি বৃহৎ মাত্রায় ভুল ব্যাখ্যার ঝুঁকিতে পড়ব—এমন এক সময়ে যখন জনসাধারণের বৈজ্ঞানিক জ্ঞান ও আস্থা ইতিমধ্যে চাপের মধ্যে রয়েছে।’
থেইন বলেন, ‘এমন মডেলগুলো অনেক সময় প্রাথমিক উৎস নয় বরং সহজবোধ্য বিজ্ঞান সাংবাদিকতাকে ভিত্তি করে প্রশিক্ষিত হয়। এতে তারা সেই সরলীকরণগুলোও নিজেদের মধ্যে ধারণ করে ফেলে।’
সবচেয়ে গুরুত্বপূর্ণ কথা, সাধারণ উদ্দেশ্যে তৈরি মডেলগুলো যখন বিশেষায়িত ক্ষেত্রে প্রয়োগ করা হয়—বিশেষজ্ঞের পরামর্শ ছাড়াই—তখন সেটি প্রযুক্তির এক গুরুতর অপব্যবহার হয়ে দাঁড়ায়। বিশেষ করে এমন ক্ষেত্রে, যেখানে আরও সুনির্দিষ্ট প্রশিক্ষণের প্রয়োজন।
তথ্যসূত্র: লাইভ সায়েন্স