Annuaire | Intranet Math | ENT | Contact | Comment venir |   
 

http://ens.math.univ-montp2.fr/SPIP... d’autres sont modifiables en double-cliquant dessus, d’autres encore ne sont pas modifiables par vous. Toutes ces petites informations sont utilisables partout sur ce site.
— >

http://ens.math.univ-montp2.fr/SPIP...
— >

http://ens.math.univ-montp2.fr/SPIP... —>

 

Christophe ROLAND



ÉquipeStatutBur. Tél.    Courriel
Proba-Stat  Associé I3M


Mise à jour : Janvier 2012

Domaines de Recherche
  • Statistiques Appliquées
  • Analyse Numérique et Optimisation
Thèmes de Recherche
  • Autour de l’algorithme E.M. et de ses variantes 
  • Méthodes d’extrapolation et Problèmes de point fixe
  • Méthodes itératives dîtes de projection et Systèmes linéaires
Quelques mots clés illustrant les thèmes de recherche
  • Algorithme EM, maximum de vraisemblance, estimateurs du maximum de vraisemblance, estimation de densité, données manquantes, modèles de mélange (Gaussien, Poisson,...), modèles linéaires mixtes, accélération de convergence, méthodes hybrides ; méthodes de gradient, méthodes de Quasi-newton, méthodes ECM, ECME et PX-EM.
  • Problèmes de point fixe, procédures d’accélération, extrapolation, epsilon-algorithme, Reduced Rank Extrapolation (RRE), Minimal Polynomial Extrapolation (MPE), méthode de Lemaréchal, méthode d’Aitken ;
  • Systèmes linéaires, méthode de Barzilai-Borwein, méthode de Cauchy, méthode de Richardson, gradient conjugué, gradient avec retard ;
Articles Soumis [1]
  • A. Berlinet, Ch. Roland, Acceleration of the EM algorithm : P-EM versus epsilon algorithm, en révision, janvier 2012, 27 pages.

Articles à paraître [0]

Articles Publiés dans des revues internationales avec comité de lecture [9]
  • A. Berlinet, Ch. Roland, Geometric interpretation of some Cauchy related methods, Numerische Mathematik, 119-3 (2011) 437-464. Impact Factor:1.614 (2009).
  • Ch. Roland, A note on the parameterized EM method, Statistics and Probability Letters, 80 (2010) 1354-1357. Impact Factor:0.386 (2009).
  • A. Berlinet, Ch. Roland, Parabolic acceleration of the EM algorithm, Statistics and Computing Journal, 19-1 (2009) 35-47. Impact Factor:1.821 (2009).
  • R. Varadhan, Ch. Roland, Simple and Globally-Convergent Numerical Methods for Accelerating Any EM Algorithm, Scand. J. Statist., 35-2 (2008) 335-353. Impact Factor:1.022 (2009).
  • Ch. Roland, R. Varadhan, C.E. Frangakis, Squared polynomial extrapolation methods with cycling : An application to the positron emission tomography problem, Numer. Algor., 44 (2007) 159-172. Impact Factor:0.716 (2009).
  • A. Berlinet, Ch. Roland, Acceleration schemes with application to the EM algorithm, Comput. Statist. Data Anal., 51 (2007) 3689-3702. Impact Factor:1.228 (2009).
  • Ch. Roland, R. Varadhan, New iterative schemes for nonlinear fixed point problems, with applications to problems with bifurcations and incomplete-data problems, Appl. Numer. Math., 55-2 (2005) 215-226. Impact Factor:1.279 (2009).
  • J.-P. Chehab, A. Cohen, D. Jennequin, J.J. Nieto, Ch. Roland, J. Roche, An Adaptive Particle-In-Cell method using multi-resolution analysis, Numerical methods for hyperbolic and kinetic problems, Cemracs 2003, IRMA Lecture in Mathematics and theoretical physics, (2005) 29-42.
  • Ch. Roland, B. Beckermann, C. Brezinski, Altman’s methods revisited, Appl. Math. Warsaw, 31 (2004) 353-368.

Rapports Techniques [2]
  • A. Berlinet, Ch. Roland, A note on acceleration schemes with application to the EM algorithm, ENSAM-INRA de Montpellier, RR 06-01 (2006).
  • R. Varadhan, Ch. Roland, Squared extrapolation methods (SQUAREM) : A new class of simple and efficient numerical schemes for accelerating the convergence of the EM algorithm, Department of Biostatistics Working Paper, Johns Hopkins University, 63 (2004) 1-70.
Ouvrages - Manuel scolaires [2]
  • Manuel SESAMATH 5ème, Editeur Génération 5, France, 208 pages, 2010.

  • Manuel SESAMATH 4ème, Editeur Génération 5, France, 260 pages, 2011.

    Les manuels SESAMATH sont des manuels COLLABORATIFS : ils sont élaborés par des professeurs suite à de nombreux échanges et discussions à l’aide d’une interface commune et d’un wiki. Pour davantage d’informations, consultez le site de l’association SESAMATH. ou le site des manuels SESAMATH.
Collaborations scientifiques
  L’algorithme E.M.
  Dégénérescence de l’algorithme E.M.
Un document didactique Introduction à l’algorithme EM sera disponible ici en 2012.

L’algorithme E.M.

L’algorithme EM introduit par Dempster, Laird et Rubin en 1977, est une des méthodes les plus utilisées pour calculer itérativement des estimateurs du maximum de vraisemblance (sous entendu le logarithme de la vraisemblance) et donc le maximum de la vraisemblance lui-même dans le cas où le modèle probabiliste est un modèle à données manquantes ou à données non observables. Si ce n’est pas le cas, il est courant de reformuler le problème initial en un problème à données manquantes pour pouvoir l’utiliser. Il ne se restreint pas à l’estimation de densité, il est aussi utilisé en classification des données et en apprentissage machine. Son nom provient du fait qu’à chaque itération, il est composé de deux étapes : une étape E où l’Espérance de la vraisemblance complétée est calculée en tenant compte des dernières variables observées, et une étape M (Maximisation) où les nouveaux estimateurs du maximum de vraisemblance sont calculés en maximisant la vraisemblance trouvée à l’étape E. Les paramètres trouvés à cette étape M sont ensuite utilisés pour une nouvelle étape E et nous itérons ainsi de suite. Le critère d’arrêt heuristique de cet algorithme est soit la stationnarité de la vraisemblance soit un nombre maximal d’itérations fixé initialement soit les deux critères précédents à la fois. La principale raison de son succès réside dans le fait que ses itérations sont généralement simples, autrement dit le calcul de l’Espérance et de la Maximisation sont "faciles" à obtenir, qu’il conserve la croissance de la vraisemblance à chaque itération et qu’il est peu gourmand en mémoire. Par contre, selon son initialisation, il peut ne pas converger vers le maximum global de la vraisemblance, mais plutôt vers un maximum local ou un point selle. C’est pour cette raison qu’en pratique, les utilisateurs lancent l’algorithme EM à partir de nombreuses valeurs initiales et choisissent pour solution les paramètres qui donnent la plus grande vraisemblance. Un deuxième inconvénient majeur est sa vitesse de convergence qui peut-être extrêmement lente, en particulier si la quantité de données manquantes ou non observées est importante.
Une citation de Lange (1995, dans Statisticia Sinica) :
The missing data paradigm is ubiquitous in statistical applications, and the EM algorithm enjoys ever wider use. Any measure that improves the EM algorithm can only benefit consumers of statistics.
Sommaire


La dégénérescence

Dans des modèles de mélange, nous appelons dégénérescence de l’algorithme EM, une situation dans laquelle une des composantes du mélange estimée par l’algorithme EM, converge vers un dirac. Pour illustrer ce phénonème, prenons un modèle gaussien univarié à deux composantes avec des données individuelles. Dans ce cas, une des variances converge rapidement vers zéro et le maximum de la vraisemblance tend vers l’infini. Les deux figures suivantes illustrent ce phénonème : l’algorithme EM dégénère à partir de 4 itérations !!!


La dégénérescence est tellement rapide qu’il est difficile de déterminer une stratégie capable de la détecter (voir Biernacki et Chrétien (2003) pour une justification théorique dans le cas gaussien univarié), ce qui justifie la règle heuristique de relancer l’algorithme EM avec d’autres valeurs initiales. Dans le cas de données groupées, c’est différent : la vraisemblance est bornée et l’algorithme EM dégénère lentement. Si lentement que parfois, la solution dégénérée est interprétée comme une solution locale. Récemment, Biernacki (2006) en a apporté les justifications théoriques et a proposé une règle pour arrêter l’algorithme EM prématurement.
Sommaire

http://chez.moi.com À UTILISER AVEC PRÉCAUTION : IL VOUS SERA DIFFICILE DE L’ENLEVER ! —>


Envoyer un message


[arXiv] Christophe ROLAND


[Google Scholar] Christophe ROLAND

Annuaire


Mentions Légales | Webmaster | ©2007 I3M - Dép. de Math. UM2 | AMI | Anneau math.fr | Suivre la vie du site RSS 2.0 | SPIP