International Conference on Information and Knowledge Technology

فارسی

Home / شانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش

A Framework for Systematic Stability Assessment of Post-hoc Explanations in Text Classification

Authors :

Parman Mohammadalizadeh¹ Parham Mohammadalizadeh² Ayda Mahmoudian³

1- دانشگاه زنجان 2- پژوهشگر مستقل 3- پژوهشگر مستقل

Keywords :

Explainable AI،Explainability Evaluation،Natural Language Processing

Abstract :

Post-hoc explanation methods are widely adopted for interpreting neural text classifiers, yet lack standardized evaluation of their stability under input perturbations. We present a systematic framework for assessing explanation stability through three categories of stress tests: preprocessing variations, semantic paraphrasing, and explainer seed variations. The framework combines quantitative metrics (Jaccard similarity, Spearman correlation, attribution differences) with automated stability card generation for standardized reporting. We evaluate Integrated Gradients, LIME, and SHAP across four model-dataset combinations spanning sentiment analysis and topic classification. Results reveal nuanced stability patterns, including the decoupling of model capacity from explanation reliability and architecture-dependent vulnerability to perturbation types. Our open-source implementation supports standard transformer models and explanation libraries, establishing practical stability assessment as a reproducible evaluation standard for NLP explainability research.

List of archived papers

Electrophysiological Modeling and Interactive Approaches of Electrical Circuits and Hypergraphs for Understanding Neural Circuit Dynamics

Arian Baymani - Maryam Naderi Soorki

مدل یادگیری ماشین برای تشخیص تقلب در کارت‌های اعتباری با رویکرد بهینه‌سازی AUC و تنظیم خودکار ابرپارامترها

محمد مهدی متولی

چارچوب پیش‌بینی خرابی تطبیقی مبتنی بر شبکه عصبی گراف پویا و GRU در سامانه‌های صنعتی IIoT

رسول اسماعیلی فرد - لیلا رنجبر

Combinatorial Auction Based on Social Choice in the Internet of Things

Maede Esmaeili - Faria Nassiri-Mofakham - Fatemeh Hassanvand

BMPA- DSL: Binary Marine Predators Algorithm to Identify Driver's Different Levels of Stress

Mahtab Vaezi - Mehdi Nasri - Farhad Azimifar - Mahdi Mosleh

Enhancing kNN-Based Intrusion Detection with Differential Evolution with Auto-Enhanced Population Diversity

Zohre Karimi - Zeinab Torabi

بررسی کارآمدی فناوری وب 0.2 در پشتیبانی از فرآیندهای انسان محور و دانش مبنا

سید احسان ملیحی - فاطمه مشایخی کردکلا

Multi-label Classification of Steel Surface Defects Using Transfer Learning and Vision Transformer

Amirhossein Komijani - Farzaneh Vafaeinezhad - Javad Khoramdel - Yasamin Borhani - Esmaeil Najafi

مکان‌یابی بهینه آلودگی در شبکه‌های توزیع آب با استفاده از تکنولوژی اینترنت اشیاء بر مبنای پیشبینی سری زمانی چند متغیره

زینب محزون - امید بوشهریان

تحلیل سازه‌های موثر بر پذیرش فناوری بلاکچین و استفاده از آن در صنعت بیمه ایران با استفاده از تکنیک معادلات ساختاری (مطالعه موردی: شرکت کارگزاری رسمی بیمه زندگی خوب)

احسان هنری - آفرین اخوان

more

Samin Hamayesh - Version 44.2.0