کنفرانس بین المللی فناوری اطلاعات و دانش

English

صفحه اصلی / شانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش

A Framework for Systematic Stability Assessment of Post-hoc Explanations in Text Classification

نویسندگان :

Parman Mohammadalizadeh¹ Parham Mohammadalizadeh² Ayda Mahmoudian³

1- دانشگاه زنجان 2- پژوهشگر مستقل 3- پژوهشگر مستقل

کلمات کلیدی :

Explainable AI،Explainability Evaluation،Natural Language Processing

چکیده :

Post-hoc explanation methods are widely adopted for interpreting neural text classifiers, yet lack standardized evaluation of their stability under input perturbations. We present a systematic framework for assessing explanation stability through three categories of stress tests: preprocessing variations, semantic paraphrasing, and explainer seed variations. The framework combines quantitative metrics (Jaccard similarity, Spearman correlation, attribution differences) with automated stability card generation for standardized reporting. We evaluate Integrated Gradients, LIME, and SHAP across four model-dataset combinations spanning sentiment analysis and topic classification. Results reveal nuanced stability patterns, including the decoupling of model capacity from explanation reliability and architecture-dependent vulnerability to perturbation types. Our open-source implementation supports standard transformer models and explanation libraries, establishing practical stability assessment as a reproducible evaluation standard for NLP explainability research.

لیست مقالات

لیست مقالات بایگانی شده

رویکرد تطبیقی-ترکیبی در پیاده‌سازی مشارکت الکترونیکی پایدار: درس‌آموخته‌های بین‌المللی و مدل پیشنهادی ایران

عاطفه فرازمند - فاطمه پاک مهر

Task Scheduling for Real-time Object Detection: Methods and Performance Comparison in ADAS Applications

Mahdi Seyfipoor - Sayyed Muhammad Jaffry - Siamak Mohamadi

چارچوب پیش‌بینی خرابی تطبیقی مبتنی بر شبکه عصبی گراف پویا و GRU در سامانه‌های صنعتی IIoT

رسول اسماعیلی فرد - لیلا رنجبر

PersianRAG A Retrieval Augmented Generation System for Persian Language

Hossein Hosseini - Mohammad Sobhan Zare - Amir Hossein Mohammadi - Arefeh Kazemi - Zahra Zojaji - Mohammad Ali Nematbakhsh

BMPA- DSL: Binary Marine Predators Algorithm to Identify Driver's Different Levels of Stress

Mahtab Vaezi - Mehdi Nasri - Farhad Azimifar - Mahdi Mosleh

سیستم پیشنهاددهنده غذای سالم با استفاده از داده کاوی عادت های تغذیه ای کاربران

محمد عباسی - مریم حسینی پزوه - محمدرضا شمس

Effective Classifier for Predicting Churn in Payment Terminals Using RFM model and Deep Neural Network

Dr Mahila Dadfarnia - Ali Alemi Matinpour - Dr Monireh Abdoos

COVID-19 Image Retrieval Using Siamese Deep Neural Network and Hashing Technique

Farsad Zamani Boroujeni - Doryaneh Hossein Afshari - Fatemeh Mahmoodi

Aligning the Brick and Mortar cosmetic with digital transformation as the right way to overhaul the In-store Experience

Mehrgan Malekpour - Dr Federica Caboni

Optimal control of robotic hand for rehabilitation using fractional order systems and EEG signal processing

Mehran Safari Dehnavi - Vahid Safari Dehnavi - Masoud Shafiee

بیشتر

ثمین همایش، سامانه مدیریت کنفرانس ها و جشنواره ها - نگارش 42.5.2