International Conference on Information and Knowledge Technology

فارسی

Home / پانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش

Benchmarking Embedding Models for Persian-Language Semantic Information Retrieval

Authors :

Mahmood Kalantari¹ Mehdi Feghhi² Nasser Mozayani³

1- دانشگاه علم و صنعت ایران 2- دانشگاه علم و صنعت ایران 3- دانشگاه علم و صنعت ایران

Keywords :

Embedding search،Embedding models،Persian embedding،Persian question-answering،Retrieval-Augmented Generation (RAG)

Abstract :

The increasing reliance on semantic-based retrieval, especially in the context of large language model-powered chatbots, underscores the need for robust evaluation of embedding models. In this study, the performance of embedding models for Persian-language information retrieval was investigated, addressing an area with limited prior research. Four question-answering datasets were used—two publicly available datasets adapted for this study and two custom datasets derived from translations. A systematic evaluation of 17 embedding models was conducted, and the models were ranked based on their accuracy in retrieving relevant content using similarity measures such as dot product, cosine similarity, and L2 distance. The findings emphasize the adaptability of these models to diverse textual data and address the specific challenges posed by the Persian language. This research bridges a critical gap in Persian-language retrieval tasks, providing a comprehensive benchmark for evaluating embedding models in semantic information retrieval scenarios.

List of archived papers

یک روش کارآمد جهت تشخیص آنلاین حملات DRDoS به سرویس های مبتنی بر UDP درمعماری SDN با استفاده از الگوریتم های یادگیری ماشین

میترا اکبری کهنه شهری - دکتر رضا محمدی - دکتر محمد نصیری میترا اکبری کهنه شهری - رضا محمدی - محمد نصیری -

Analysing effect of news polarity on stock market prediction: a machine learning approach

Golshid Ranjbaran - Dr Mohammad-Shahram Moin - Dr Sasan H Alizadeh - Dr Abbas Koochari

Violence detection using one-dimensional convolutional networks

Narges Honarjoo - Ali Abdari - Dr Azadeh Mansouri

Improving Long-Term Engagement of Insurance Brokerages by Providing Gamified Configurations Based on The Delphi Method

Hosein Bayati - Fattaneh Taghiyareh - Sahand Hashemi

پیش بینی گره های رهبر در شبکه های اجتماعی با استفاده از پیش بینی پیوند

روح اله رشیدی - فرساد زمانی بروجنی - محمد رضا سلطان آقایی - هادی فرهادی

کنترل کیفیت پیش_بینانه آمیزه_های لاستیکی مدلی یکپارچه بر اساس استاندارد پذیرش متغیرهای ANSI Z1.9 و پایش رئولوژیکی برخط

آکو یاری - فرهاد محمدزاده

سیستم توصیه گر برای خرید لوازم آرایشی و بهداشتی مبتنی بر الگوریتم جنگل تصادفی

فاطمه رمضانی خوزستانی - مجید رفیعی

ارزیابی و برنامه‌ریزی اجرای پیشنهادی هوش مصنوعی در صنعت پتروشیمی ایران

امین رضا انصاری - احد قائمی - سید مهدی کوچک کوثری

تشخیص خودکار اختلال عروقی ماکولا با عنوان عروق گسترش یافته در تصاویر آنژیوگرافی حاصل از تصویربرداری OCTA

راضیه گنجی - دکتر محسن ابراهیمی مقدم - دکتر رامین نوری نیا

روشی چندوجهی برای تحلیل احساسات در زبان فارسی با استفاده نشریه ساختار بلاغی و ترنسفرمرها

ریحانه احمدی علیائی - امینه امینی - عباس جلیلوند

more

Samin Hamayesh - Version 44.2.0