International Conference on Information and Knowledge Technology

فارسی

Home / پانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش

Benchmarking Embedding Models for Persian-Language Semantic Information Retrieval

Authors :

Mahmood Kalantari¹ Mehdi Feghhi² Nasser Mozayani³

1- دانشگاه علم و صنعت ایران 2- دانشگاه علم و صنعت ایران 3- دانشگاه علم و صنعت ایران

Keywords :

Embedding search،Embedding models،Persian embedding،Persian question-answering،Retrieval-Augmented Generation (RAG)

Abstract :

The increasing reliance on semantic-based retrieval, especially in the context of large language model-powered chatbots, underscores the need for robust evaluation of embedding models. In this study, the performance of embedding models for Persian-language information retrieval was investigated, addressing an area with limited prior research. Four question-answering datasets were used—two publicly available datasets adapted for this study and two custom datasets derived from translations. A systematic evaluation of 17 embedding models was conducted, and the models were ranked based on their accuracy in retrieving relevant content using similarity measures such as dot product, cosine similarity, and L2 distance. The findings emphasize the adaptability of these models to diverse textual data and address the specific challenges posed by the Persian language. This research bridges a critical gap in Persian-language retrieval tasks, providing a comprehensive benchmark for evaluating embedding models in semantic information retrieval scenarios.

List of archived papers

A Blockchain-Based Smart Contract Framework for Peer-to-Peer Energy Trading in Smart Grids

Hossein Shahinzadeh - Farshad Ebrahimi - S. Mohammadali Zanjani - Amirafshin Zamani - Saiedeh Mehrabani-Najafabadi - Gevork B. Gharehpetian

Analysing effect of news polarity on stock market prediction: a machine learning approach

Golshid Ranjbaran - Dr Mohammad-Shahram Moin - Dr Sasan H Alizadeh - Dr Abbas Koochari

Persian Language Understanding in Task-oriented Dialogue System for Online Shopping

Zeinab Borhanifard - Hossein Basafa - Seyedeh Zahra Razavi - Heshaam Faili

بهینه‌سازی مسیر وسیله ی نقلیه ی هوایی بدون سرنشین جهت کاهش زمان جمع آوری داده از حسگرها در شبکه ی اینترنت اشیا مبتنی بر الگوریتم یادگیری تقویتی عمیق

محمد ناظمی جنابی - هادی اشعریون - مهدی پورقلی

مروری بر الگوریتم‌های انتخاب مشتری در یادگیری فدرال

عطیه منعمی بیدگلی - رضا مهدوی

ML-based Optical Fibre Fault Detection in Smart Surveillance and Traffic Systems

Rushil Patel - Sana Narmawala - Nikunjkumar Mahida - Rajesh Gupta - Sudeep Tanwar - Hossein Shahinzadeh

A method for image steganography based on chaotic maps and advanced compression algorithms

Mohammad Yousefi Sorkhi

پیش بینی ارتباط میزان مرگ و میر با هم زمانی وجود دو بیماری در مبتلایان به کرونا به کمک بگارگیری شبکه عصبی Word2Vec

سمن مثقالی - دکتر جواد عسکری سمن مثقالی - جواد عسکری -

فراتر از ارزیابی: استفاده استراتژیک از نظریه بازی برای بازتعریف سازوکارهای همتاسنجی

سیده فاطمه نورانی - سحر مقراضی

بررسی تأثیر استقرار استاندارد COBIT در افزایش بهره وری سازمان‌ها (مطالعه موردی: شعب نمایندگی‌های همراه اول، ایرانسل، رایتل)

دکتر محمد ابراهیم سمیع - ساره رحمانیان محمد ابراهیم سمیع - ساره رحمانیان -

more

Samin Hamayesh - Version 44.5.0