Teorda del Control Optimo

Transcripción

Teoría del Control Optimo
(FCEA, UdelaR)
1 / 28
Introducción
Optimización dinámica busca responder la pregunta, ¿cuál es el valor
óptimo para cada período de tiempo de una variable de elección?
Por tanto, debemos encontrar un valor para CADA momento en el
intervalo de tiempo relevante para el problema (el que eventualmente
puede ser in…nito)
Lo que queremos encontrar ahora es una función, y no solo un único
valor (como en la optimización estática).
La idea es que cada función nos estará dando valores distintos del
funcional que estemos maximizando.
Tenemos que elegir entonces la función que nos de el mayor valor (si
es un problema de maximización).
En esta clase plantearemos el problema en tiempo continuo.
(FCEA, UdelaR)
2 / 28
Introducción
Supongamos que tenemos los siguientes caminos para transportar una
carga desde el punto inicial A hasta el terminal Z. El costo del
transporte depende del largo del camino y de la topografía del mismo
(por tanto, no necesariamente la línea recta es la más conveniente).
En este ejemplo estado=latitud y stage=longitud (en general en los
problemas que veremos el stage estará dado por la variable tiempo).
Buscamos minimizar costos, eligiendo el camino óptimo.
(FCEA, UdelaR)
3 / 28
Introducción
El funcional: V [y (t )]. Mapea funciones en valores (en el ejemplo
anterior podía ser el costo del transporte entre A y Z). Al maximizarlo
(o minimizarlo) nos permite elegir la función óptima.
(FCEA, UdelaR)
4 / 28
Introducción
Distintos puntos terminales del problema: (a) t = T (problema con
linea vertical terminal) (consumo a lo largo de T años); (b) y = Z
(problema con linea horizontal terminal) (meta in‡ación) y (c)
Z = φ(T ) (curva terminal) (calidad vs rapidez)
(FCEA, UdelaR)
5 / 28
Teoría del control óptimo
En los problemas de control óptimo tenemos 3 variables relevantes en
vez de las 2 que veníamos viendo. Ahora además de V (funcional) y
de y (variable de estado) tenemos u (variable de control). La variable
u es la que le da nombre a esta teoría y que pasará a ocupar el
escenario central del problema (relegando a y a un rol secundario).
Esto será así siempre y cuando a través de u logremos afectar el
camino que sigue y . Por tanto en nuestro problema ahora deberemos
tener una ecuación que vincule a ambas variables:
dy
= y (t ) = f [t, y (t ), u (t )]
dt
(1)
Esta ecuación se llama ecuación de movimiento del problema.
(FCEA, UdelaR)
6 / 28
El problema que pretendemos resolver tiene la siguiente forma:
Max.V [u ] =
ZT
F [t, y (t ), u (t )] dt
(2)
0
s.a. y (t ) = f [t, y (t ), u (t )]
y (0) = y0
y (T ) = yT
El propósito de la teoría de control optimo será encontrar la
trayectoria temporal óptima para la variable de estado y y la
variable de control u. Esta teoría centrará su atención en una o
más variables de control que sirven como instrumentos de
optimización.
El desarrollo más importante en la teoría del control óptimo es el
llamado principio del máximo, el que permite revolver el problema.
(FCEA, UdelaR)
7 / 28
Ejemplo
Supongamos una economía con un stock …nito de petroleo (P (t )),
siendo P (0) = P0 .
A medida que el petroleo es extraído, la reserva se irá reduciendo en:
∂P (t )
E (t ). Siendo E (t ) la tasa de extracción de petroleo en t.
∂t =
E (t ) cuali…ca como variable de control dado que posee las siguientes
2 propiedades:
1. Está sujeta a nuestra elección discrecional.
2. El valor de E (t ) afecta a la trayectoria de P (t ) (variable de
estado).
La variable E (t ) nos permite conducir la variable de estado P (t ) a la
posición que deseamos, en cualquier momento del tiempo, a través de
∂P (t )
la ecuación diferencial: ∂t = E (t ).
(FCEA, UdelaR)
8 / 28
Ejemplo
Direccionando acertadamente la variable de control, podemos
proponernos optimizar algún criterio de performance expresado en una
función objetivo.
Podríamos plantearnos por ejemplo la maximización del valor presente
de la utilidad (o ganancia) derivada del uso del petroleo extraído
durante un período de tiempo [0, T ].
El problema podría plantearse como:
max
ZT
U (E )e
ρt
dt
(3)
0
s.a.
(FCEA, UdelaR)
∂P (t )
=
E (t ) ,
∂t
P (0) = P0 , P (T ) libre, P0 , T dados
9 / 28
Control óptimo: algunas características
La teoría del control óptimo permite resolver casos donde el camino
de la variable de control no es continuo (ej. botón de prendido de la
computadora, u=1 prendida, o u=0 apagada). Solo necesitamos que
sea continuo de a intervalos.
La variable de estado debe ser continua, pero no hay problema si solo
es diferenciable en intervalos.
(FCEA, UdelaR)
10 / 28
El problema que pretendemos resolver tiene la siguiente forma:
max V
=
ZT
F [t, y (t ), u (t )] dt
(4)
0
s.a. y (t ) = f [t, y (t ), u (t )]
y ( 0 ) = y0
El desarrollo más importante en la teoría del control óptimo es el
llamado principio del máximo, que permite revolver problemas como
este.
(FCEA, UdelaR)
11 / 28
Principio del máximo
1
Primer paso
En el primer paso del desarrollo del principio del máximo
incorporaremos la ecuación de movimiento en la función a optimizar y
luego la expresaremos en términos del Hamiltoniano (el que será
de…nido más abajo). Tenemos que la ecuación de movimiento es:
f (t, y , u )
y = 0, 8t 2 [0, T ]
(5)
Con lo cual la suma de estos valores 0 entre el período 0 y el T
también tiene que ser cero:
ZT
0
(FCEA, UdelaR)
h
λ(t ) f (t, y , u )
i
y dt = 0
(6)
12 / 28
Sumando esta última expresión a V tenemos:
J
= V+
ZT
0
=
=
ZT
0
T
Z
0
h
λ(t ) f (t, y , u )
F (t, y , u )dt +
ZT
0
n
i
y dt
h
λ(t ) f (t, y , u )
h
F (t, y , u ) + λ(t ) f (t, y , u )
i
y dt =
(7)
i o
y dt
Esta función objetivo tendrá igual solución que V , ya que J toma
iguales valores que V a lo largo de la ecuación de movimiento.
(FCEA, UdelaR)
13 / 28
De…namos la función Hamiltoniana (o el Hamiltoniano) como:
H (t, y , u, λ)
F (t, y , u ) + λ(t )f (t, y , u )
(8)
La sustitución del Hamiltoniano simpli…ca la ecuación (7) en:
J=
ZT h
H (t, y , u, λ)
0
(FCEA, UdelaR)
i
λ(t )y dt =
ZT
0
H (t, y , u )dt
ZT
λ(t )y dt (9)
0
14 / 28
ZT
Integrando por partes (recordar que u v dt =
u (t )v (t )jT0
ZT
uvdt)
0
0
la última integral de la ecuación anterior será igual a:
ZT
λ(t )y dt =
λ(t )y (t )jT0
0
+
ZT
λy (t )dt =
(10)
0
=
λ(T )yT + λ(0)y0 +
ZT
y (t )λdt
0
(FCEA, UdelaR)
15 / 28
Sustituyendo esta expresión en (9):
J
=
ZT
=
ZT
0
H (t, y , u, λ)dt +
ZT
y (t )λdt
λ(T )yT + λ(0)y0 =(11)
0
H (t, y , u, λ) + y (t )λ dt
λ(T )yT + λ(0)y0
0
(FCEA, UdelaR)
16 / 28
2. Segundo paso
La introducción de λ(t ) no debe afectar el valor que tome J siempre
y cuando:
f (t, y , u ) y = 0, 8t 2 [0, T ]
(12)
como vimos anteriormente.
Notar que esa condición es igual a la siguiente (esta será una de las 3
condiciones para el máximo):
y=
∂H
∂λ
(13)
Para mostrarlo, basta con tener en cuenta que
H (t, y , u, λ)
Entonces:
∂H
∂λ
(FCEA, UdelaR)
F (t, y , u ) + λ(t )f (t, y , u )
= f (t, y , u ) y por tanto: y =
∂H
∂λ
(14)
) y = f (t, y , u ).
17 / 28
3. Tercer paso
Ahora nos ocuparemos de u (t ) y de su efecto sobre y (t )
Introduciremos perturbaciones en estas curvas de forma de generar
una familia de curvas, y luego derivaremos condiciones que solo
cumplirán las funciones óptimas.
u (t ) = u (t ) + εp (t )
y (t ) = y + εq (t )
T
= T + ε∆T =)
yT = yT + ε∆yT =)
(FCEA, UdelaR)
(15)
∂T
= ∆T
∂ε
∂yT
= ∆yT
∂ε
(16)
(17)
18 / 28
Expresaremos J en función de ε, lo que nos permitirá tomar a J como
una función en una única variable, de donde la condición de primer
orden será:
∂J
(18)
j ε =0 = 0
∂ε
Ya que por de…nición y (t ) y u (t ) es la solución óptima.
Siendo
J (ε) =
TZ(ε)
H [t, y + εq (t ), u + εp (t ), λ] + λ [y + εq (t )] (19)
dt
0
λ(T )yT + λ(0)y0
(FCEA, UdelaR)
19 / 28
4. Paso cuatro
Ahora aplicamos la condición: ∂J
∂ε jε=0 = 0.
Llegamos a (notar que si tenemos
bR
(x )
bR
(x )
dJ (x )
F (t, x )dt ) dx =
Fx (t, x )dt + F [b (x ), x ] b 0 (x )):
J (x ) =
0
TZ(ε)
0
0
∂H
∂H
q (t ) +
p (t ) + λq (t ) dt + H + λy
∂y
∂u
λ(T )∆yT
t =T ( ε )
∂T (ε)
(20)
∂ε
yT λ(T )∆T
(la derivada del segundo término de (19) con respecto a ε es
(derivada de un producto):
∂λ(T )
λ(T )∆yT yT λ(T )∆T )
λ(T ) ∂y∂εT yT ∂T ∂T
∂ε =
El término λ(0)y0 desaparece cuando lo derivamos con respecto a
epsilon.
(FCEA, UdelaR)
20 / 28
Podemos reescribir uno de los componentes de (20) como:
λy
t =T
.
∂T
= λ(T )yT ∆T
∂ε
(21)
De este modo, cuando (20) es igualada a cero, la condición de primer
orden es:
∂J
=
∂ε
ZT
(
0
∂H
∂H
+ λ )q (t ) +
p (t ) dt + [H ]t =T ∆T
∂y
∂u
λ(T )∆yT = 0
(22)
Los tres componentes tienen diferentes cosas arbitrarias: la integral
contiene curvas de perturbación p (t ) y q (t ), mientras que los otros
dos involucran ∆T y ∆yT ; de este modo, se deben igualar cada uno
de los términos que multiplican a estas cosas arbitrarias a 0, para
asegurarnos que sean 0 siempre.
(FCEA, UdelaR)
21 / 28
Igualando el término dentro de la integral a cero, podemos deducir 2
condiciones:
∂H
(23)
=
λ
∂y
∂H
= 0
(24)
∂u
La primera nos da la ecuación de movimiento de la variable de
coestado, y la segunda representa la max. de H.
Ya que el problema más simple tiene la T …ja, y libre el estado (yT ),
el término ∆T = 0, pero no así ∆yT ; y por tanto para hacer
desaparecer el término λ(T ) ∆yT , debemos imponer la restricción:
λ(T ) = 0.
(25)
Esta ultima condición es llamada condición de transversalidad (para el
caso de línea terminal vertical).
(FCEA, UdelaR)
22 / 28
Principio del máximo. Condiciones terminales alternativas.
Cuando las condiciones terminales son distintas lo que cambia es la
condición de transversalidad, las demás condiciones para un óptimo se
mantienen.
Línea terminal horizontal. En este caso yT esta …jo y por tanto
∆yT = 0, pero el momento del tiempo en que termina el problema no
tiene por que serlo.
Entonces si tenemos en cuenta
∂J
=
∂ε
ZT
(
0
∂H
∂H
+ λ )q (t ) +
p (t ) dt + [H ]t =T ∆T
∂y
∂u
λ(T )∆yT = 0
(26)
vemos que
[ H ] t =T = 0
(FCEA, UdelaR)
(27)
23 / 28
Principio del máximo. Condiciones terminales alternativas.
Curva terminal. En este caso yT = φ(T ). Entonces
∆yT = φ0 (T )∆T , entonces si tenemos en cuenta
∂J
=
∂ε
ZT
(
0
∂H
∂H
+ λ )q (t ) +
p (t ) dt + [H ]t =T ∆T
∂y
∂u
λ(T )φ0 (T )∆T
(28)
vemos que (para un valor arbitrario de ∆T ) la condición ahora es:
H
(FCEA, UdelaR)
λφ0 = 0
(29)
24 / 28
El Hamiltoniano de valor corriente
En algunas aplicaciones económicas de la teoría de control óptimo, se
suele introducir un factor de descuento e ρt en el integrando de la
función objetivo:
F (t, y , u ) = G (t, y , u ).e
ρt
(30)
Con esta modi…cación, el problema de control óptimo será:
Max. V
=
ZT
G (t, y , u ).e
ρt
dt
(31)
0
s.a. y
= f (t, y , u )
y cond. de frontera
El Hamiltoniano toma la forma:
H = G (t, y , u ).e
(FCEA, UdelaR)
ρt
+ λ.f (t, y , u )
(32)
25 / 28
El valor corriente del Hamiltoniano
Como el factor de descuento agrega complejidad a las derivadas de H,
en algunos casos será deseable de…nir una nueva función hamiltoniana
que esté libre de ese factor.
Llamaremos HC , valor corriente del hamiltoniano, a una
transformación algebraica de H:
HC
H.e ρt = G (t, y , u ) + m.f (t, y , u )
(33)
Y a m (t ) como el multiplicador de valor corriente m:
m (t ) = λ.e ρt
(34)
Tenemos entonces la siguiente igualdad:
H
(FCEA, UdelaR)
Hc .e
ρt
(35)
26 / 28
El Principio del Máximo Revisado
Trabajar con Hc en vez de H implica cambios en la formulación del
problema a maximizar.
La primera condición de este problema es maximizar H con respecto a
u para cada momento del tiempo. Esta condición no se modi…ca,
excepto por sustituir H por Hc, dado que el término e ρt es
constante para cualquier t. La condición revisada se simpli…ca:
M áx.Hc
u
8t
e [0, T ]
(36)
La ecuación de movimiento para la variable de estado debe
reformularse teniendo en cuenta que:
y =
(FCEA, UdelaR)
∂H
∂Hc
= f (t, y , u ) =
∂λ
∂m
(37)
27 / 28
El Principio del Máximo Revisado
.
La ecuación de movimiento para la variable de coestado, λ = ∂H
dy ,
debe modi…carse transformando cada lado de esta ecuación en una
expresión que involucre al multiplicador lagrangeano m y luego
igualando esos resultados.
Para el lado izq. tenemos: λ = me ρt ρme ρt .
ρt .
c
Para el lado derecho: ∂y∂H = ∂H
∂y e
Igualando estos resultados tenemos la ec de movimiento para m:
∂Hc
+ ρm
(38)
dy
Por último, la condición de transversalidad revisada, para el caso de
una línea vertical terminal sería:
m=
λ (T ) = 0
=)
m (T ).e
ρt
= 0 ) m (T ) = 0
(39)
y para una línea terminal horizontal quedaría:
[ H ] t =T = 0
(FCEA, UdelaR)
=)
[Hc ]t =T .e
ρt
= 0 ) [ Hc ] t = T = 0
(40)
28 / 28

Teorda del Control Optimo

Transcripción

Documentos relacionados

Docentes Responsables del proyecto Más información