Mes travaux portent principalement sur
l'estimation et l'utilisation de l'entropie en théorie statistique des processus stochastiques, ainsi que sur la représentation spectrale de ces processus, indépendants, ARMA, markoviens, et semi- markoviens, et dans des applications en particulier en écologie.
Le concept d'entropie,
sous ses différentes formes (entropie, entropie relative, entropie
conditionnelle, taux d'entropie, etc.) et ses différents noms
(entropie, information, distance, divergence, mesure de distortion,
etc.), s'applique à des lois de probabilités, à des variables ou à des
processus stochastiques, de toute dimension, à temps discret ou
continu.
Il est utilisé dans un cadre extrêmement vaste,
théorie de la communication, théorie du signal, image, recherche
opérationnelle, mécanique statistique, mais aussi biologie,
psychologie, linguistique, etc.
Choisir la maximisation d'entropie pour trouver une fonction sous
contraintes privilégie la solution qui peut se réaliser du plus grand
nombre de manières possibles. Elle prend tout son sens en considérant
la minimisation d'entropie relative pour laquelle la solution
privilégiée est la plus proche d'une fonction connue qui ne vérifie pas
les contraintes, par exemple une estimation préalable.
Tests et théorie de
l'information
Avec
Philippe Regnault, nous avons montré que la divergence de
Kullback-Leibler est minimisée pour des lois à support fini sous
contraintes d'entropie, de façon étroitement liée à l'étude
des
familles de lois dites escortes d'une probabilité donnée. Ceci permet
d'une part en géométrie de l'information de déterminer la divergence
entre deux sphères de niveaux d'entropie. D'autre part, un principe de
grandes déviations pour la suite d'estimateurs plug-in empiriques de
l'entropie de Shannon en découle. Ces deux résultats combinés sont
ensuite utilisés pour la construction de tests de niveau d'entropie.
Avec Justine Lequesne et Anne Ricordeau, nous avons développé une nouvelle paramétrisation du modèle de minimisation d'information dans un tableau de contingence, introduite par Jacques Zighera en 1985. Elle donne une décomposition de l'information en informations marginales similaire à l'ANOVA pour la régression linéaire. A travers des tests simultanés, elle permet à la fois de déterminer un modèle log-linéaire convenable et d'évaluer les effets marginaux de la table.
Avec Justine Lequesne, nous avons aussi construit des statistiques basées sur l'égalité de Phytagore entre l'entropie de Shannon et la divergence de Kullback-Leibler pour des tests d'adéquation ("goodness of fit") à des lois a densité. Ils s'appliquent à des lois pour lesquelles les tests classiques ne sont pas pertinents.
Processus markoviens et
semi-markoviens
Les processus semi-markoviens constituent une généralisation naturelle
des processus de sauts markoviens : l'évolution future d'un processus
de sauts markovien connaissant le passé dépend seulement de l'état
occupé à l'instant présent ; celle d'un processus
semi-markovien
dépend aussi du temps passé depuis la dernière transition.
Le théorème ergodique de la théorie de l'information dit que l'entropie
à temps fini d'un processus divisée par le temps converge vers une
limite appelée taux d'entropie du processus. J'ai présenté
une
synthèse de ses différentes généralisations, depuis la version
originale de Shannon-McMillan-Breiman, jusqu'à ses développements les
plus récents. Avec Nikolaos Limnios, nous l'avons étendu aux
processus semi-markoviens
ergodiques, à
espace
d'état dénombrable pour le temps continu et pour le temps
discret,
et à espace d'état général, induisant une expression explicite du taux
d'entropie de ces processus. Un théorème de la limite
centrale fonctionnel
(soit des principes d'invariance fort et faible) pour l'entropie est
également établi.
J'ai construit un critère de choix du processus randomisé d'un
processus de sauts markovien par maximum d'entropie. J'ai étudié
différents problèmes de maximisation d'entropie sous
contraintes de type moments pour des processus de sauts markoviens et
pour des processus semi-markoviens pour le temps continu, avec des
applications en fiabilité, et pour le temps discret, donnant
ainsi
un aperçu des directions possibles d'utilisation de l'entropie dans
l'étude de ces processus. J'ai aussi considéré l'utilisation de
méthodes de maximum de taux
d'entropie pour des files d'attente markoviennes.
Avec Gabriela Ciuperca et Loïck Lhote, nous avons construit différents
estimateurs du taux d'entropie de chaînes de
Markov pour un espace d'état fini, à partir de
l'observation d'une trajectoire de longue durée ou de plusieurs
trajectoires de durée fixe. Les cas paramétriques et non
paramétriques sont envisagés, avec établissement des propriétés
asymptotiques. L'extension à un
espace
d'état dénombrable et à des entropies généralisées du type Rényi ou
Tsallis est faite par des techniques de théorie des opérateurs, en lien
avec les systèmes dynamiques. Enfin, des changements
d'échelle
permettent la définition de taux
d'entropies généralisées lorsque les conditions d'extensibilité
usuelles de l'entropie ne sont pas réalisées.
Représentation spectrale
Il est bien connu que tout processus stochastique faiblement
stationnaire, c'est-à-dire dont la fonction de covariance est
invariante pour la structure de groupe additif de l'ensemble des
indices, admet une représentation spectrale par rapport au système
trigonométrique. Sa fonction de covariance, réduite à une
fonction d'une seule variable, est la transformée de Fourier de sa
mesure spectrale.
La représentation spectrale liée à cette réduction de dimension offre
de nombreux avantages et est souvent indispensable dans l'étude
statistique des processus. Elle simplifie l'étude de leurs
propriétés de second ordre et permet
d'utiliser les nombreux outils qui lui sont liés, comme l'ergodicité,
la détermination d'un processus à partir de contraintes sur sa fonction
de covariance, par exemple à travers l'estimation spectrale, etc..
Une extension consiste à considérer la stationnarité par rapport à une
structure plus générale que celle de groupe additif de l'ensemble des
indices. Avec Rachid Senoussi, nous avons défini une notion de
semi-stationnarité liée aux
structures de semi-groupes avec involution et semi-groupes réguliers en
utilisant des résultats d'analyse harmonique. Ceci permet d'unifier des
résultats connus sur les processus à
accroissements orthogonaux, M-stationnaires, symétriques, le mouvement
brownien, les signaux sinusoïdaux, etc., et ouvre un nouveau champ
d'investigation en théorie des processus pour la représentation
spectrale. Une autre extension consiste à utiliser la
représentation spectrale d'un processus stationnaire par
dualité.
C'est le cas de la classe des processus réductibles à la stationnarité
par une transformation de l'ensemble des indices du processus ou de
celle des processus périodiquement corrélés duaux de processus
multivariés stationnaires. J'ai établi les propriétés statistiques des
premiers liées à leur
représentation spectrale, et celles des seconds liées à la maximisation
d'entropie.
Processus ARMA
Un processus auto-régressif à un temps donné dépend linéairement de son
passé à temps fini, à un bruit blanc près. Un processus ARMA possède la
même propriété, à une combinaison linéaire finie de bruits blancs près.
Ce sont des cas particuliers de processus de Markov, mais les
techniques mises en jeu pour leur étude leur sont propres. J'ai
étudié et utilisé les processus ARMA sous de nombreuses formes :
faiblement stationnaires ou périodiquement corrélés, à valeurs
scalaires ou multivariées, indexés par un ensemble unidimensionnel ou
multidimensionnel, à temps discret ou continu.
Diverses techniques utilisant une modélisation ARMA sont apparues dans
les dernières années, notamment dans des applications en théorie du
signal et en économie. Cette modélisation comporte plusieurs
étapes, dont la détermination de l'ordre, nombre minimal de paramètres
nécessaires à la représentation du processus. Avec Glaysar Castro, nous
avons
développé une
procédure récursive de détermination de l'ordre d'un processus ARMA en
utilisant les coefficients de réflection généralisés de la matrice de
covariance. Ils sont conservés lorsque la taille des matrices augmente,
ce qui permet de ne calculer qu'un seul coefficient à chaque étape de
la procédure.
Une autre étape essentielle est le calcul des paramètres du
modèle. J'ai développé différentes méthodes dans ce
but, à
partir de diverses contraintes sur la densité spectrale, par exemple
covariances, réponses impulsionnelles ou coefficients cepstraux
(coefficients de Fourier de la densité spectrale, de sa racine carrée
ou de son logarithme). La représentation du modèle est ainsi
déterminée, et pas seulement sa densité spectrale, moins informative.
L'absence de mémoire d'un processus markovien se traduit pour les
propriétés de second-ordre par la notion de processus faiblement
markovien. Avec Glaysar Castro, avons obtenu une
caractérisation décisive de ces
processus d'ordre un à temps discret vectoriels ou périodiquement
corrélés en termes de modèles auto-régressifs d'ordre un.
Problèmes de moments
A l'origine, le problème des moments tronqués consiste en la
détermination de mesures positives dont un nombre fini de moments
algébriques est donné. Il a été ensuite généralisé à d'autres
moments, par exemple trigonométriques.
Il est appliqué en
probabilités notamment aux moments de variables aléatoires ou
aux
covariances d'un processus faiblement stationnaire. Le
problème de
l'existence de solutions est préliminaire.
Dans le cas unidimensionnel, la définie-positivité de la suite est
nécessaire et suffisante, un résultat classique dans le cas scalaire
dont jai donné une preuve constructive dans le cas multivarié.
L'étude de l'ensemble des solutions pour une suite donnée en découle.
J'ai déterminé la forme de la fonction donnant le maximum d'une
fonctionnelle d'entropie générale sous contraintes de moments
généralisés par une méthode hilbertienne.
Elle s'applique aux cas classiques des moments trigonométriques ou
algébriques, mais aussi aux systèmes de fonctions les plus généraux,
comme par exemple ceux impliqués dans la représentation spectrale des
processus semi-stationnaires ou réductibles, et également aux problèmes
de réalisation de produit scalaire, et peut être étendue à des
contraintes additionnelles, au cas multidimensionnel multivarié, à
l'entropie relative pour des contraintes de covariances ou
pour
des contraintes plus générales. Les modèles ARMA jouent un rôle
essentiel dans la maximisation
d'entropie sous contraintes de moments généralisés sur la densité
spectrale.
J'ai construit des solutions de type fraction rationnelle ou
exponentielle de polynômes généralisés par résolution de systèmes
linéaires ou par recherche de point fixe d'une fonctionnelle.
Sous contraintes de covariances pour des processus stationnaires, cela
amène la construction d'un processus auto-régressif. J'ai développé une
méthode de construction de ce processus dans le cas
scalaire périodiquement corrélé et par dualité dans le cas stationnaire
multivarié.
Pour des contraintes additionnelles, ou pour l'entropie
relative à
certains processus, l'extremum d'entropie est obtenu pour un processus
ARMA. Ces contraintes sont par exemple des réponses
impulsionnelles ou des coefficients cepstraux.
La représentation paramétrique du modèle ARMA est déterminée par
différentes méthodes algébriques ou itératives. J'ai montré le
parallèle entre le rôle joué par les covariances dans la construction
de modèles auto-régressifs et celui joué par les réponses
impulsionnelles dans la construction de modèles
ARMA.
J'ai mis en évidence une dualité entre un problème de
moments multidimensionnel et un problème de marginales (détermination
de mesures discrètes définies sur un ensemble produit et dont les
marginales sont fixées). J'ai déterminé les points extrémaux
du convexe des solutions dans les
deux cas. Pour le problème de moments, les mesures extrémales
à
support fini engendrent toutes les solutions pour une topologie
convenable. Ces résultats ont été les premiers dans un
contexte général
(support dénombrable pour les mesures à marginales fixées et support
multidimensionnel pour les moments).
Applications
Je collabore de façon continue depuis 2014
avec Nathalie Niquil, BOREA UNICAEN, sur l'analyse inverse de réseaux trophiques.
J'ai
utilisé des outilss de théorie de l'information pour l'estimation de
ruptures
de suites aléatoires markoviennes avec application en actuariat avec
Serge Pergamentchikov, Rouen, et Victor Konev, Tomsk, Russie.
Les
tests d'adéquation liés à l'entropie développés dans la thèse de
Justine Lequesne sont appliqués à des données de replication d'ADN dans
une collaboration avec Bénédicte
Duriez de l'institut Jacques Monot.
La
paramétrisation du modèle de
minimisation d'information dans un tableau de contingence a donné lieu à
plusieurs publications sur une étude critique des données brutes issues
des évaluations PISA de l'OCDE.