Un problème non résolu

Wikipedia : Calcul stochastique, Optimal control (EN), Dynamic programming (EN)

Domaine et dynamique
Domaine_D.gif

On considère un domaine $\cal D$ (une "couronne" dans $I\!\!R^2$, illustration à droite) défini par

(1)
\begin{align} {\cal D }= \left\{ \left. x=(x_1,x_2) \in I\!\!R^2 \right| |x|>1 \mbox{ et } [x|<2 \right\}. \end{align}

On définit la dynamique d'un processus $X$, partant d'un point $X_0\in \cal D$, par l'équation différentielle stochastique contrôlée suivante :

(2)
\begin{align} dX_t= \left(\begin{array}{cc} 1 & 0 \\ 0 & \alpha_t \end{array}\right) dW_t. \end{align}

Le processus $W$ est un mouvement brownien 2-dimensionnel, et le processus $\alpha$ (le "contrôle") est à valeurs dans l'intervalle compact $[0,1]$.

La composante horizontale du processus $X$ est un mouvement brownien ; le paramètre $\alpha$ permet de régler l'intensité de la diffusion de la composante verticale de $X$.

Problème de contrôle optimal

Pour un contrôle donné $\alpha$ on considère la "fonction valeur" (ou fonction de Bellman) définie par

(3)
\begin{align} V^{\alpha}(x) = I\!\!E_{\left\{X_0=x\right\}} \left[ e^{-\lambda \tau} 1\!\mbox{I}_{\left\{ \left|X_{\tau}\right|=1 \right\} } \right], \end{align}

avec

  • $\tau$ le premier temps de sortie de $\cal D$, i.e.
(4)
\begin{align} \tau = \inf\left\{ t>0 ; X_t\not\in {\cal D} \right\}, \end{align}
  • $\lambda>0$.

On se pose un problème de contrôle optimal stochastique en cherchant le contrôle $\alpha_t$ minimisant la valeur

(5)
\begin{align} V^*(x) = \inf_{\alpha} V^{\alpha}(x), \end{align}
Conjectures

Au moins jusqu'en 2002, plusieurs spécialistes séchaient encore sur ce problème.

Conjecture 1

Le contrôle optimal est donné par $\alpha_t = \alpha^*(X_t)$, où la fonction $\alpha^*$ est définie par

(6)
\begin{align} \alpha^*(x) = 1\mbox{ si }x_2 \in [-1,1]\mbox{ et }\alpha^*(x) = 0\mbox{ sinon.} \end{align}
CarteControle.gif

La fonction valeur optimale ainsi définie n'est pas continue, aux points $(0,1)$ et $(0,-1)$.

Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-ShareAlike 3.0 License