0% Complete
فارسی
Home
/
پانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش
Evaluating LLMs in Persian News Summarization
Authors :
Arya VarastehNezhad
1
Reza Tavasoli
2
Mostafa Masumi
3
Seyed Soroush Majd
4
Mehrnoush Shamsfard
5
1- University of Tehran
2- University of South Carolina
3- Sharif University of Technology
4- shahid beheshti university
5- shahid beheshti university
Keywords :
Text Summarization،Large Language Models،Persian News،LLM Evaluation،Natural Language Processing،Artificial Intelligence
Abstract :
This study evaluates the performance of eight Large Language Models (LLMs) in Persian news summarization: GPT-4o, Claude-3.5-Sonnet, Gemini-Pro-1.5, Llama-3.1-405B, Command-R, Mistral-Large-2, DeepSeek V2.5, and Gemma-2-9B. We assess these models across five news categories: Economy, International, Sports, Technology, and Social, using the pn_summary dataset. Our evaluation employs multiple metrics, including BERTScore and ROUGE, across two input conditions: article-only and article-with-title. Results show that Llama-3.1-405b performed best against reference summaries in the article-only setting, achieving the highest BERTScore F1 (50.60) and ROUGE-L (33.96) scores. Notably, including article titles helped models produce summaries which aligned more closely to the reference summary, increasing the average BERTScore F1 from 48.31 to 50.16 across most models. Moreover, when comparing generated summaries to original articles, Mistral-Large-2 led with a BERTScore F1 of 48.09. In category-specific analysis, Mistral-Large-2 consistently outperformed the reference summaries across all news categories, with the most significant improvement in the Economic category. This study provides valuable insights into the current capabilities of LLMs for Persian summarization, highlighting their potential and the impact of input structure on performance. Our findings contribute to the growing body of research on multilingual summarization and have practical implications for Persian language processing applications.
Papers List
List of archived papers
SecVanet: provably secure authentication protocol for sending emergency events in VANET
Seyed Amir Mousavi - Mohammad Sadeq Sirjani - Seyyed Javad Bozorg zadeh Razavi - Morteza Nikooghadam
Improving Deep Neural Network Accelerator for Malaria Diseased Blood Cells using FPGA
Hadi Rezaeikarjani - Mojtaba Valinataj
ساخت پیکره برچسب خورده گزارش های آسیب شناسی
مسلم سمیعی پاقلعه - مهرنوش شمس فرد
بیشینهسازی تأثیر در شبکههای اجتماعی بر اساس فعالیت کاربران
فاطمه جعفری - علیرضا رضوانیان
مدیریت توأم منابع و خواب ایستگاه پایه مبتنی بر یادگیری تقویتی در شبکه های فوق متراکم با ارتباطات دو طرفه
طاهره رحمتی - بهروز شاهقلی قهفرخی
استخراج موارد آزمون سطح برونمتد و درونکلاس از برنامههای شئگرا
محمد قرشی - حسن حقیقی
تشخیص حمله تزریق داده کاذب با روش OCD در شبکه هوشمند برق
محدثه جلیلی سنجرانی - سعید جلیلی - محمدکاظم شیخ الاسلامی
چارچوب بومی پیادهسازی حکمرانی داده در رسانههای عمومی بر پایه مدل EDM
مریم فتحی - عبدالله امیرخانی - فرشید بهجت محمدی - ملیحه حاجی حسینی
Intent-Based Classification of Multi-Stage Cyber Attacks Using Attacker TTPs and Machine Learning
Fatemeh Imanimehr - Hamed Ebrahimi
Target-driven Navigation of a Mobile Robot using an End-to-end Deep Learning Approach
Mohammad Matin Hosni - Ali Kheiri - Esmaeil Najafi
more
Samin Hamayesh - Version 42.5.2