به نقل از دیجیتال مارکتینگ ایران، پژوهشگران مؤسسه فناوری ماساچوست (MIT) و مؤسسه سرطان دانا-فاربر با استفاده از مدلهای زبانی بزرگ (LLM)، نزدیک به ۴ هزار مطالعه پزشکی و صدها مخزن کد مرتبط با آنها را بررسی کردهاند. نتایج این پژوهش نشان میدهد که انتشار کدهای مورد استفاده در تحقیقات بالینی همچنان چندان رایج نیست و حتی در مواردی که کدها بهصورت عمومی در دسترس قرار میگیرند، اطلاعات و مستندات لازم برای درک، اجرا و بازتولید نتایج همیشه وجود ندارد.
این مسئله از آن جهت اهمیت دارد که نتایج پژوهشهای پزشکی فقط به دادههای اولیه وابسته نیستند؛ بلکه تصمیمهایی که پژوهشگران هنگام آمادهسازی دادهها، طراحی مدلها و ارزیابی عملکرد آنها میگیرند نیز میتوانند بر نتیجه نهایی اثر بگذارند. دسترسی به کد و اطلاعات تکمیلی به سایر محققان اجازه میدهد این تصمیمها را بررسی کنند، روشهای پژوهش را به چالش بکشند و در صورت نیاز، نتایج را دوباره تولید کنند.
این مطالعه که با کمک هوش مصنوعی انجام شده، در نشریه Nature Medicine منتشر شده و یافتههای آن قرار است در تدوین دستورالعمل جدیدی با نام TRIPOD-Code به کار گرفته شود؛ راهنمایی که هدف آن مشخصکردن استانداردهای لازم برای اشتراکگذاری کدهای تحلیلی در پژوهشهای مرتبط با مدلهای پیشبینی بالینی است.
چرا انتشار کد در پژوهشهای پزشکی اهمیت دارد؟
در تحقیقات پزشکی، بهویژه مطالعاتی که به توسعه یا ارزیابی مدلهای پیشبینی بالینی میپردازند، جزئیات روش اجرا اهمیت زیادی دارند. این مدلها برای تخمین پیامدهای مرتبط با سلامت بیماران استفاده میشوند؛ برای مثال، ممکن است احتمال ابتلای یک فرد به بیماری مشخص یا خطر بروز یک عارضه را پیشبینی کنند.
از آنجا که خروجی این مدلها میتواند در تصمیمگیریهای مرتبط با مراقبت از بیمار مؤثر باشد، ضروری است پژوهشگران دیگر بتوانند نحوه طراحی و ارزیابی آنها را بررسی کنند. صرفاً دانستن اینکه یک مدل چه نتیجهای تولید کرده است، برای ارزیابی اعتبار آن کافی نیست. باید مشخص باشد دادهها چگونه آماده شدهاند، بیماران بر اساس چه معیارهایی وارد مطالعه شدهاند، دادههای ناقص چگونه مدیریت شدهاند و عملکرد مدل با چه روشهایی سنجیده شده است.
تام پولارد، پژوهشگر آزمایشگاه فیزیولوژی محاسباتی MIT و آزمایشگاه علوم کامپیوتر و هوش مصنوعی این مؤسسه (CSAIL)، به مجموعه تصمیمهایی اشاره میکند که در طول یک پژوهش گرفته میشوند. این انتخابها که گاهی «درجات آزادی پژوهشگر» نامیده میشوند، میتوانند بر نتایج نهایی اثر بگذارند. به گفته او، بخش روششناسی یک مقاله علمی بهتنهایی نمیتواند تمام جزئیات این تصمیمها را توضیح دهد.
بنابراین، انتشار کد منبع میتواند به شفافیت پژوهش کمک کند؛ اما این اقدام زمانی ارزش واقعی پیدا میکند که کد به شکلی منظم، قابل فهم و همراه با توضیحات کافی ارائه شده باشد. یک مخزن کد بدون راهنمای اجرا، فهرست وابستگیهای نرمافزاری یا توضیح درباره ساختار فایلها ممکن است عملاً برای پژوهشگران دیگر قابل استفاده نباشد.
MIT چگونه نزدیک به ۴ هزار مطالعه را با هوش مصنوعی بررسی کرد؟
تیم بینالمللی پژوهشگران به رهبری محققان MIT و مؤسسه سرطان دانا-فاربر، برای بررسی وضعیت اشتراکگذاری کد در تحقیقات پزشکی، سراغ مطالعاتی رفت که به دستورالعملهای TRIPOD یا TRIPOD+AI ارجاع داده بودند. این دو راهنما برای کمک به گزارشدهی دقیقتر درباره نحوه توسعه و ارزیابی مدلهای پیشبینی بالینی طراحی شدهاند.
مجموعه بررسیشده تقریباً ۴ هزار مقاله را شامل میشد که در آنها مدلهای پیشبینی توسعه یافته، بهروزرسانی یا اعتبارسنجی شده بودند. متن کامل این مقالات نیز از مجموعه دسترسی آزاد PubMed Central در دسترس قرار داشت.
یکی از دشواریهای اصلی این بررسی، یکسان نبودن شیوه اشاره پژوهشگران به کدهای خود بود. برخی نویسندگان لینک مخزن را مستقیماً در مقاله قرار داده بودند، برخی در بخش توضیحات مربوط به دسترسی به دادهها و کدها به آن اشاره کرده بودند و گروهی نیز از عبارتها و ساختارهای متفاوتی استفاده کرده بودند.
توماس سوناک، نویسنده اول این پژوهش، توضیح میدهد که پیش از ارزیابی کیفیت کدها باید مشخص میشد هر مقاله اساساً کدی را به اشتراک گذاشته است یا خیر. پراکندگی و تنوع اطلاعات باعث میشد بررسی دستی تمام مقالات و لینکهای مرتبط، فرایندی زمانبر و دشوار باشد.
پژوهشگران برای حل این مسئله از یک مدل زبانی بزرگ کمک گرفتند. این مدل مقالات را غربال میکرد، عبارتهای مرتبط با دسترسی به کد را شناسایی میکرد و لینک مخازن را استخراج میکرد. سپس ابزارهای نرمافزاری، مخازن معرفیشده را دریافت میکردند تا محتوای آنها بهصورت جداگانه بررسی شود.
نکته مهم این است که بررسی به شناسایی لینک محدود نماند. تیم پژوهشی ویژگیهایی مانند کاملبودن مستندات، مشخصبودن نیازمندیهای نرمافزاری و وجود مجوزهای لازم برای استفاده مجدد از کد را نیز ارزیابی کرد.
مدلهای زبانی بزرگ چه نقشی در این پژوهش داشتند؟
یکی از مزیتهای اصلی مدلهای زبانی بزرگ، توانایی آنها در پردازش اطلاعات غیرساختاریافته است. اطلاعاتی که در قالب متن آزاد، توضیحات پراکنده یا فایلهای مختلف منتشر شدهاند، معمولاً بهسادگی در یک جدول استاندارد قرار نمیگیرند. همین ویژگی بررسی گسترده مقالات علمی و مخازن نرمافزاری را دشوار میکند.
در این پروژه، هوش مصنوعی به پژوهشگران کمک کرد اطلاعات پراکنده در متن مقالهها و مخازن کد را در مقیاسی بزرگتر و با روشی منظمتر بررسی کنند. پولارد معتقد است ارزش اصلی این فناوری در توانایی آن برای کار با چنین اطلاعات نامنظمی است؛ قابلیتی که امکان تحلیل جزئیتر شیوههای اشتراکگذاری کد را در مجموعهای بزرگ از مطالعات فراهم کرد.
بااینحال، پژوهشگران نتایج مدل را بدون نظارت انسانی نپذیرفتند. برای ارزیابی دقت فرایند خودکار، دو محقق بهصورت مستقل ۵۰۰ مقاله و نمونه جداگانهای از مخازن کد را بررسی کردند. اختلافنظرها میان ارزیابان نیز پیش از مقایسه نتایج انسانی و خودکار برطرف شد.
نتایج نشان داد میزان توافق در تشخیص ویژگیهای عینی، مانند وجود یا نبود فایل مجوز، بیشتر از ارزیابیهای کیفی، مانند کافیبودن مستندات، است. به بیان دیگر، تشخیص یک فایل مشخص در مخزن معمولاً سادهتر از قضاوت درباره این موضوع است که آیا توضیحات ارائهشده برای استفاده مجدد از کد کفایت میکنند یا خیر.
به همین دلیل، نویسندگان تأکید میکنند که احتمال خطا در طبقهبندیهای خودکار همچنان وجود دارد. آنها یافتههای کلی و روندهای مشاهدهشده را مهمتر از تلقیکردن تمام اعداد بهعنوان شمارشهایی کاملاً دقیق میدانند. این رویکرد نشان میدهد حتی در پژوهشهایی که با کمک هوش مصنوعی انجام میشوند، اعتبارسنجی انسانی همچنان نقش مهمی دارد.
فقط یکهشتم مطالعات پزشکی کد خود را منتشر کردهاند
مهمترین یافته این بررسی، پایینبودن میزان اشتراکگذاری کد در پژوهشهای بالینی است. بر اساس نتایج، تنها حدود یک مطالعه از هر هشت مطالعه بررسیشده اعلام کرده بود که کدهای مورد استفاده خود را به اشتراک گذاشته است.
حتی در میان مطالعاتی که کدهای خود را منتشر کرده بودند نیز کیفیت و میزان اطلاعات ارائهشده تفاوت چشمگیری داشت. برخی مخازن ساختاری منظم داشتند و توضیحات کافی برای درک و اجرای کد ارائه میکردند؛ در مقابل، بعضی مخازن تقریباً هیچ راهنمایی مشخصی در اختیار کاربران قرار نمیدادند.
از دیدگاه سوناک، اشتراکگذاری مناسب کد باید به دیگر پژوهشگران امکان دهد بفهمند هر بخش از کد چه کاری انجام میدهد و چگونه میتوان آن را اجرا کرد تا نتایج گزارششده در مقاله دوباره تولید شوند. بنابراین، قرار دادن چند فایل برنامهنویسی در یک مخزن عمومی لزوماً به معنای شفافیت علمی نیست.
این بررسی همچنین تفاوت قابل توجهی میان مجلات علمی و کشورهای مختلف نشان داد. در میان مجلات بررسیشده، سهم مطالعاتی که کد خود را منتشر کرده بودند از صفر تا بیش از ۷۰ درصد متغیر بود. چنین فاصلهای نشان میدهد فرهنگ و رویههای انتشار کد در جامعه علمی هنوز استاندارد واحدی ندارد.
نکته قابل توجه آن است که برخی مجلات با وجود نرخ پایین اشتراکگذاری کد، سیاستهای مکتوبی برای تشویق یا الزام نویسندگان به انتشار آن داشتند. این موضوع نشان میدهد وجود یک سیاست رسمی بهتنهایی تضمین نمیکند که پژوهشگران کدهای خود را به شکل مناسب منتشر کنند. اجرای سیاستها، نظارت بر آنها و مشخصبودن انتظارات از نویسندگان نیز اهمیت دارد.
دادههای مصنوعی؛ راهکاری برای حفظ حریم خصوصی بیماران
یکی از موانع مهم در انتشار کدهای پژوهشهای پزشکی، محدودیت دسترسی عمومی به دادههای بیماران است. اطلاعات پزشکی به دلیل حساسیت بالا و الزامات حفظ حریم خصوصی، همیشه امکان انتشار عمومی ندارند. در نتیجه، حتی اگر کد یک مطالعه در دسترس باشد، پژوهشگر دیگری ممکن است نتواند آن را با دادههای اصلی اجرا کند.
بررسی MIT نمونههایی از راهکارهای مؤثر برای کاهش این مشکل را نیز شناسایی کرد. در برخی مطالعات، پژوهشگران در کنار کدهای خود مجموعهدادههای مصنوعی ارائه کرده بودند تا دیگران بتوانند ساختار دادهها را درک کنند و بخشی از فرایند اجرای کد را آزمایش کنند؛ بدون آنکه اطلاعات واقعی بیماران در اختیار عموم قرار بگیرد.
دادههای مصنوعی میتوانند به بازتولیدپذیری و استفاده مجدد از کد کمک کنند، هرچند جایگزین کامل دادههای واقعی در تمام مراحل اعتبارسنجی پژوهش نیستند. ارزش این رویکرد در آن است که میان دو نیاز مهم تعادل برقرار میکند: حفاظت از اطلاعات حساس بیماران و فراهمکردن امکان بررسی روشهای علمی.
TRIPOD-Code قرار است چه استانداردی ایجاد کند؟
پژوهشگران معتقدند یکی از دلایل تفاوت در شیوه انتشار کد، اختلاف انتظارات میان رشتههای علمی مختلف است. تحقیقات پیشبینی بالینی معمولاً به همکاری متخصصان پزشکی، آمار و علوم کامپیوتر نیاز دارند؛ اما هر یک از این حوزهها ممکن است برداشت متفاوتی از مستندسازی مناسب و اشتراکگذاری قابل قبول داشته باشند.
دستورالعمل TRIPOD-Code با هدف ایجاد توافق میان این گروهها در حال تدوین است. این راهنما بر پایه چارچوبهای قبلی TRIPOD و TRIPOD+AI توسعه پیدا میکند و قرار است مشخص کند هنگام انتشار کدهای تحلیلی، چه اطلاعات و اجزایی باید بهعنوان حداقل الزامات در نظر گرفته شوند.
تیم پژوهشی در حال توسعه این دستورالعمل از طریق فرایند بررسی و دریافت نظر متخصصان است. هدف آنها ارائه راهنمایی عملی برای محققان و همچنین تعیین انتظارات روشنتر برای مجلات علمی است تا نویسندگان بدانند هنگام ارسال مقاله، چه استانداردهایی را باید رعایت کنند.
پولارد تأکید میکند که این بررسی شواهدی در اختیار تیم قرار داده تا بتوانند درباره شیوه مناسب اشتراکگذاری کد به توافق برسند. به این ترتیب، TRIPOD-Code قرار نیست صرفاً بر انتشار یک لینک تأکید کند، بلکه کیفیت اطلاعات همراه با کد را نیز در نظر میگیرد.
استانداردسازی کدهای پژوهشی چه تأثیری بر آینده علم پزشکی دارد؟
یافتههای این مطالعه به مسئلهای فراتر از نظمدادن به مخازن نرمافزاری اشاره میکنند. مدلهای پیشبینی بالینی میتوانند در تصمیمهای مرتبط با سلامت بیماران نقش داشته باشند؛ بنابراین، امکان بررسی مستقل روش توسعه و ارزیابی آنها بخشی از اعتمادپذیری پژوهش پزشکی محسوب میشود.
وقتی کدها بهدرستی مستندسازی نشده باشند، محققان دیگر برای بازسازی نتایج با دشواری روبهرو میشوند. در چنین شرایطی، حتی انتشار عمومی کد نیز ممکن است تأثیر محدودی بر شفافیت علمی داشته باشد. در مقابل، مخازن ساختاریافته و مستند میتوانند بررسی روشها، شناسایی خطاهای احتمالی و توسعه پژوهشهای بعدی را آسانتر کنند.
از سوی دیگر، این مطالعه نمونهای از کاربرد عملی هوش مصنوعی در ارزیابی کیفیت پژوهشهای علمی است. مدلهای زبانی بزرگ توانستهاند حجم زیادی از متن و اطلاعات پراکنده را در زمانی قابل مدیریت بررسی کنند؛ اما مقایسه با ارزیابی انسانی نشان میدهد که برای قضاوتهای پیچیده و کیفی، نظارت متخصصان همچنان ضروری است.
در نهایت، پیام اصلی پژوهش MIT این است که دسترسی عمومی به کد باید از یک اقدام نمادین به فرایندی استاندارد و قابل استفاده تبدیل شود. انتشار کد، مستندات کافی، مشخصبودن نیازمندیهای نرمافزاری و تعیین شرایط استفاده مجدد، اجزای مکمل شفافیت علمی هستند. دستورالعمل TRIPOD-Code نیز میتواند با روشنکردن این انتظارات، به بهبود کیفیت گزارشدهی و بازتولیدپذیری تحقیقات پزشکی کمک کند.
برای دنبالکردن تازهترین اخبار هوش مصنوعی، پژوهشهای علمی و تحولات فناوری و بازاریابی دیجیتال، به دیجیتال مارکتینگ ایران مراجعه کنید.
“`





