Academic Publications (old)
Academic publications so farMyBestQuery: A serious game to collect manual query reformulation
Colloque Veille Stratégique Scientifique et Technologique (VSST 2016), Rabat (Morocco)
Keywords: Information retrieval, Query reformulation, Serious game, Human annotationConference PapersNational Conference Papers
MyBestQuery: A serious game to collect manual query reformulation
About The Publication
This paper presents MyBestQuery, a serious game designed to collect query reformulations from players. Query reformulation is a hot topic in information retrieval and covers many aspects. One of them is query reformulation analysis which is based on users’ session. It can be used to understand user’s intent or to measure his satisfaction with regards to the results he obtained when querying the search engine. Automatic query reformulation is another aspect of query reformulation. It automatically expands the initial user’s query in order to improve the quality of the retrieved document set. This mechanism relies on document analysis but could also benefit from manually reformulated query analysis. Web search engines collect millions of search sessions and possible query reformulations. As academics, this information is hardly accessible for us. MyBestQuery is designed as a serious game in order to collect various possible reformulation users suggest. The more long-term objective of this work is to analyse the humanly produced query reformulation in order to both analyse manual query reformulation and compare them with the automatically produced reformulations. Preliminary results are reported in this paper.
MyBestQuery : un jeu sérieux pour apprendre des utilisateurs
Conférence francophone en Recherche d'Information et Applications (CORIA 2016), Toulouse
Mots-clés : Jeu sérieux ; Crowdsourcing, Etude utilisateur, Moteur de recherche d’information, Annotation des requêtes, Aide aux utilisateursKeywords: Serious game, Crowdsourcing, User study, Search engine, Query annotation
Conference PapersNational Conference Papers
MyBestQuery : un jeu sérieux pour apprendre des utilisateurs
About The Publication
Résumé :
MyBestQuery est un jeu sérieux qui collecte des éléments sur les requêtes soumises à un moteur de recherche: (i) la prédiction de la difficulté de la requête par le joueur (ii) des raisons possibles expliquant cette difficulté (iii) des propositions de reformulation.
Abstract:
MyBestQuery is a serious game designed to collect items from queries submitted to a search engine: (i) the query difficulty prediction (ii) the possible reasons for this difficulty (iii) other query formulations.
La prédiction efficace de la difficulté des requêtes : une tâche impossible ?
Conférence francophone en Recherche d'Information et Applications (CORIA 2015), Paris
Mots-clés : Recherche d’information, requête difficile, prédiction, analyse de donnéesKeywords: Information retrieval, query difficulty predictor, data mining, evaluation
Conference PapersNational Conference Papers
La prédiction efficace de la difficulté des requêtes : une tâche impossible ?
About The Publication
Résumé :
Les moteurs de recherche d’information (RI) retrouvent des réponses quelle que soit la requête, mais certaines requêtes sont difficiles (le système n’obtient pas de bonne performance en termes de mesure de RI). Pour les requêtes difficiles, des traitements ad-hoc doivent être appliqués. Prédire qu’une requête est difficile est donc crucial et différents prédicteurs ont été proposés. Dans cet articlenous étudions la variété de l’information captée par les prédicteurs existants et donc leur non redondance. Par ailleurs, nous montrons que les corrélations entre les prédicteurs et les performance des systèmes donnent peu d’espoir sur la capacité de ces prédicteurs à être réellement efficaces. Enfin, nous étudions la capacité des prédicteurs à prédire les classes de difficulté des requêtes en nous appuyant sur une variété de méthodes exploratoires et d’apprentissage. Nous montrons que malgré les (faibles) corrélations observées avec les mesures de performance, les prédicteurs actuels conduisent à des performances de prédiction variables et sont donc difficilement utilisables dans une application concrète de RI.
Abstract:
Search engines found answers whatever the user query is, but some queries are more difficult than others for the system. For difficult queries, adhoc treatments must be applied. Predicting query difficulty is crucial and different predictors have been proposed. In this paper, we revisit these predictors. First we check the non statistical redundancy of predictors. Then, we show that the correlation between the values of predictors and system performance gives little hope on the ability of these predictors to be effective. Finally, we study the ability of predictors to predict the classes of difficulty by relying on a variety of exploratory and learning methods. We show that despite the (low) correlation with performance measures, current predictors are not robust enough to be used in practical IR applications.
Performance Analysis of Information Retrieval Systems
Spanish Conference on Information Retrieval, Coruna
Keywords: Information Retrieval, Classification, Query difficulty, Optimization, Random Forest, Adaptive Information RetrievalConference PapersNational Conference Papers
Performance Analysis of Information Retrieval Systems
About The Publication
It has been shown that there is not a best information retrieval system configuration which would work for any query, but rather that performance can vary from one query to another. It would be interesting if a meta-system could decide which system should process a new query by learning from the context of previously submitted queries. This paper reports a deep analysis considering more than 80,000 search engine configura- tions applied to 100 queries and the corresponding performance. The goal of the analysis is to identify which search engine configuration responds best to a certain type of query. We considered two approaches to define query types: one is based on query clustering according to the query performance (their difficulty), while the other approach uses various query features (including query difficulty predictors) to cluster queries. We identified two parameters that should be optimized first. An important outcome is that we could not obtain strong conclusive results; considering the large number of systems and methods we used, this result could lead to the conclusion that current query features does not fit the optimizing problem.
Vers une personnalisation des environnements d’apprentissages à l’expérience émotionnelle de l’apprenant
ORPHEE RDV 2017, Font Romeu (France)
Atelier : Réalités mixtes, virtuelles et augmentées pour l'apprentissage : perspectives et challenges pour la conception, l'évaluation et le suiviPosition Papers
Vers une personnalisation des environnements d’apprentissages à l’expérience émotionnelle de l’apprenant
About The Publication
Les émotions d’un apprenant jouent un rôle déterminant dans l’apprentissage, influant fortement sur ses capacités cognitives (Lafortune et al., 2004 ; Cuisinier et Pons, 2011). Aujourd’hui un des enjeux majeurs des environnement d’apprentissage est d’y intégrer une forme d’intelligence émotionnelle (Mayer et al., 2001) permettant d’adapter automatique l’apprentissage aux émotions de l’apprenant (Harley et al., 2015; Ochs et Frasson, 2004) . Les problématiques sous-jacentes à la création d’un environnement d’apprentissage “émotionnellement intelligents” rejoignent celles de l’Informatique Affective (Picard, 2003) :
- la reconnaissance automatique des émotions ;
- la gestion des émotions de l’utilisateur ;
- l’expression d’émotions par des systèmes interactifs (e.g. via des comportements verbaux et non verbaux de personnages virtuels ou de robots humanoïdes).
Dans ce “position paper”, nous nous concentrerons plus particulièrement sur les deux premiers points : la reconnaissance et la gestion des émotions de l’utilisateur. L’objectif est de modéliser l’expérience émotionnelle de l’apprenant (comprendre les causes et les effets de ses émotions lors du processus d’apprentissage) afin d’adapter l’apprentissage aux émotions de l’apprenant, automatiquement détectés, pour optimiser l’acquisition des connaissances. Les problématiques et pistes de recherche sous-jacentes sont décrites dans la section suivante.
Presentation, Thesis research & SegChainW2V: Towards a Generic Automatic Video Segmentation Framework, based on Lexical Chains of Audio Transcriptions and Word Embeddings
Seminary (Séminaire d'accueil des enseignants-chercheurs de la FEG)
Other Publications
Presentation, Thesis research & SegChainW2V: Towards a Generic Automatic Video Segmentation Framework, based on Lexical Chains of Audio Transcriptions and Word Embeddings
Expansion sélective de requêtes par apprentissage
Difficult query predictors: combining statistical and semantic measures
Seminary
Other Publications
Difficult query predictors: combining statistical and semantic measures
FreSaDa: A French Satire Data Set for Cross-Domain Satire Detection
IJCNN2021
Keywords: satire detection, cross-domain evaluation, unsupervised domain adaptation, text classification.Conference PapersInternational Conference Papers Selected
FreSaDa: A French Satire Data Set for Cross-Domain Satire Detection
About The Publication
In this paper, we introduce FreSaDa, a French Satire Data Set, which is composed of 11,570 articles from the news domain. In order to avoid reporting unreasonably high accuracy rates due to the learning of characteristics specific to publication sources, we divided our samples into training, validation and test, such that the training publication sources are distinct from the validation and test publication sources. This gives rise to a cross-domain (cross-source) satire detection task. We employ two classification methods as baselines for our new data set, one based on low-level features (character n-grams) and one based on high-level features (average of CamemBERT word embeddings). As an additional contribution, we present an unsupervised domain adaptation method based on regarding the pairwise similarities (given by the dot product) between the training samples and the validation samples as features. By including these domain-specific features, we attain significant improvements for both character n-grams and CamemBERT embeddings.
Vers un système de recommandation de profils experts dans l’industrie des procédés
Grenoble, France (virtuel)
Mots-clés : Système de recommandation de poste, Recherche d’expert, Web sémantique.Keywords: Job recommender system, Expert search, Semantic web.
Conference PapersNational Conference Papers
Vers un système de recommandation de profils experts dans l’industrie des procédés
About The Publication
La dématérialisation des processus de recrutement n’a pas fait disparaître toutes les frictions inhérentes à cette activité. La recherche automatisée d’un candidat idéal se heurte toujours à la difficulté à modéliser correctement les besoins exprimés en langage naturel dans une offre d’emploi. Le recrutement d’experts, notamment, est particulièrement difficile. En effet, ces profils concernent une proportion réduite des recrutements et leur prise en charge informatisée nécessite une connaissance précise du secteur d’activité concerné. Dans cet article, nous proposons l’architecture d’un système de recommandation de profils experts dans l’industrie des procédés afin d’assister ce type de recrutements.