International Conference on Information and Knowledge Technology

فارسی

Home / شانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش

A Framework for Systematic Stability Assessment of Post-hoc Explanations in Text Classification

Authors :

Parman Mohammadalizadeh¹ Parham Mohammadalizadeh² Ayda Mahmoudian³

1- دانشگاه زنجان 2- پژوهشگر مستقل 3- پژوهشگر مستقل

Keywords :

Explainable AI،Explainability Evaluation،Natural Language Processing

Abstract :

Post-hoc explanation methods are widely adopted for interpreting neural text classifiers, yet lack standardized evaluation of their stability under input perturbations. We present a systematic framework for assessing explanation stability through three categories of stress tests: preprocessing variations, semantic paraphrasing, and explainer seed variations. The framework combines quantitative metrics (Jaccard similarity, Spearman correlation, attribution differences) with automated stability card generation for standardized reporting. We evaluate Integrated Gradients, LIME, and SHAP across four model-dataset combinations spanning sentiment analysis and topic classification. Results reveal nuanced stability patterns, including the decoupling of model capacity from explanation reliability and architecture-dependent vulnerability to perturbation types. Our open-source implementation supports standard transformer models and explanation libraries, establishing practical stability assessment as a reproducible evaluation standard for NLP explainability research.

List of archived papers

Optimal control of robotic hand for rehabilitation using fractional order systems and EEG signal processing

Mehran Safari Dehnavi - Vahid Safari Dehnavi - Masoud Shafiee

استخراج ویژگی مجموعه داده‌های پزشکی دارای ابعاد بالا با استفاده از برنامه نویسی ژنتیک چند منظوره

سحر فقیهی راد - دکتر سیده نفیسه آل محمد سحر فقیهی راد - سیده نفیسه آل محمد -

طراحی و پیاده سازی بستر اجرای بازی جنگ سایبری

مریم نصراصفهانی - بهروز ترک لادانی - بهروز شاهقلی قهفرخی - حسین قجاوند بلتیجه - نوید شیرمحمدی - مهدی شمس - محمدامین آقاکبیری

ارائه یک سیستم توصیه‌گر آگاه به زمینه مبتنی بر رفتار کاربر در شبکه اجتماعی با استفاده از پیام‌های برچسب شده جغرافیایی

زهرا امینی - سید علیرضا هاشمی گلپایگانی - علی میرزائی

Targeted Vaccination for COVID-19 Using Mobile Communication Networks

Mohammadmohsen Jadidi - Pegah Moslemi - Saeed Jamshidiha - Iman Masroori - Abbas Mohammadi - Vahid Pourahmadi

Challenges of Specification Mining-based Test Oracle for Cyber-Physical Systems

Maryam Raiyat Aliabadi - Dr Mojtaba Vahidi - Dr Ramak Ghavamizadeh

روشی برای بهبود آزمون جهش پیشگویانه با در نظر گرفتن اثر داده های از دست رفته

طه رستمی - دکتر سعید جلیلی طه رستمی - سعید جلیلی -

ISPREC: Integrated Scientific Paper Recommendation using heterogeneous information network

Elaheh Jafari - Dr Bita Shams - Dr Saman Haratizadeh

سیستم پیشنهاددهنده غذای سالم با استفاده از داده کاوی عادت های تغذیه ای کاربران

محمد عباسی - مریم حسینی پزوه - محمدرضا شمس

Knowledge Extraction from Technical Reports Based on Large Language Models: An Exploratory Study

Parsa Bakhtiari - Hassan Bashiri - Alireza Khalilipour - Masoud Nasiripour - Moharram Challenger

more

Samin Hamayesh - Version 44.5.0