International Conference on Information and Knowledge Technology

فارسی

Home / شانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش

A Framework for Systematic Stability Assessment of Post-hoc Explanations in Text Classification

Authors :

Parman Mohammadalizadeh¹ Parham Mohammadalizadeh² Ayda Mahmoudian³

1- دانشگاه زنجان 2- پژوهشگر مستقل 3- پژوهشگر مستقل

Keywords :

Explainable AI،Explainability Evaluation،Natural Language Processing

Abstract :

Post-hoc explanation methods are widely adopted for interpreting neural text classifiers, yet lack standardized evaluation of their stability under input perturbations. We present a systematic framework for assessing explanation stability through three categories of stress tests: preprocessing variations, semantic paraphrasing, and explainer seed variations. The framework combines quantitative metrics (Jaccard similarity, Spearman correlation, attribution differences) with automated stability card generation for standardized reporting. We evaluate Integrated Gradients, LIME, and SHAP across four model-dataset combinations spanning sentiment analysis and topic classification. Results reveal nuanced stability patterns, including the decoupling of model capacity from explanation reliability and architecture-dependent vulnerability to perturbation types. Our open-source implementation supports standard transformer models and explanation libraries, establishing practical stability assessment as a reproducible evaluation standard for NLP explainability research.

List of archived papers

تحویل بهینه جریان پخش زنده HTTP: یک رویکرد ترکیبی سرور- شبکه

فائزه امینی تهرانی - احمدرضا منتظرالقائم

Improving Deep Neural Network Accelerator for Malaria Diseased Blood Cells using FPGA

Hadi Rezaeikarjani - Mojtaba Valinataj

پیش بینی گره های رهبر در شبکه های اجتماعی با استفاده از پیش بینی پیوند

روح اله رشیدی - فرساد زمانی بروجنی - محمد رضا سلطان آقایی - هادی فرهادی

بررسی روش‌ها، مجموعه‌های داده و معیارهای ارزیابی در حوزه‌ی پرسش از متون درون تصویر

کبری فرشیدی - حسن ختن‌لو - محرم منصوری زاده - الهام علی قارداش

ساخت پیکره برچسب خورده گزارش های آسیب شناسی

مسلم سمیعی پاقلعه - مهرنوش شمس فرد

ارائه مدل یادگیری ماشین برای پیش‌بینی سری‌زمانی باینری از دیدگاه مسئله‌های دسته‌بندی با کاربرد در پیش‌بینی نت‌های موسیقی

نیلوفر ع��دلخانی - حسام عمرانپور

تحلیل سازه‌های موثر بر پذیرش فناوری بلاکچین و استفاده از آن در صنعت بیمه ایران با استفاده از تکنیک معادلات ساختاری (مطالعه موردی: شرکت کارگزاری رسمی بیمه زندگی خوب)

احسان هنری - آفرین اخوان

روشی برای تشخیص مرحله پیشرفت آلزایمر در تصاویرFMRI مبتنی بر شبکه های عصبی چگال

فرساد زمانی بروجنی - عباس بهره دار

تاثیر مدیریت دانش مشتری بر توسعه محصول جدید و نوآورانه با رویکرد مدل سازی معادلات ساختاری با استفاده از حداقل مربعات جزئی: مطالعۀ موردی شرکت کاله

دکتر آرش خسروی - سیده فاطمه حسینی - دکتر مرتضی رجب زاده آرش خسروی - سیده فاطمه حسینی - مرتضی رجب زاده -

Coded Sharding for Vehicular Blockchains: A Lagrange Interpolation-Based Approach to IoV Scalability

Behdad Alagha - Maedeh Mosharraf

more

Samin Hamayesh - Version 43.8.0