Sesión 6: Redes Bayesianas- Inferencia Inferencia en Redes

Sesión 6: Redes Bayesianas- Inferencia Inferencia en Redes

!"
'
!
' (! )
' -")! !
' (! )
. /!
!
.
"
. -)
#$%
* !" + !"* !" ,
"
" !
!
!
' &
Propagación de Probabilidades
El razonamiento probabilístico o
propagación de probabilidades consiste
en propagar de los efectos de la
evidencia a través de la red para
conocer la probabilidad a posteriori de
las variables.
0
La propagación consiste en darle valores
a ciertas variables (evidencia), y obtener
la probabilidad posterior de las demás
variables dadas las variables conocidas
(instanciadas).
1
3 !
' / " "
!
.5 6
"
. / "7
!
. / "7
34
"
!
!
"
"
7
")! !
+
,
6
"
""
+* !" !"* !" , ! )
6
"
"7
' -)
'
"
' /!
!
!+
!*
!
,
2
3 !
' 9
6
34
"+,
6
..-
!
!
"
.
! "
"
8
Tipos de Estructuras
Redes conectadas
en forma sencilla:
• Árboles
• Poliárboles
Redes multiconectadas:
#
&
Propagación en Árboles
Cada nodo corresponde a una variable
discreta, B{B 1, B 2,…, B n) con su
respectiva matriz de probabilidad
condicional, P(B|A)=P(Bj| Ai)
$
(! )
: !"
>
/
;
<
=
Dada cierta evidencia E --representada por
la instanciación de ciertas variables-- la
probabilidad posterior de cualquier variable
B, por el teorema de Bayes:
P( Bi | E)=P( Bi ) P(E | Bi) / P( E )
0
6
>
/
;
<
=
?@< A
&
Evidencia
Ya que la estructura de la red es un árbol, el
Nodo B la separa en dos subárboles, por lo
que podemos dividir la evidencia en dos
grupos:
E-: Datos en el árbol que cuya raíz es B
E+: Datos en el resto del árbol
0
6
>
B
/
;
<
=
1
1
Entonces:
P( Bi | E ) = P ( Bi ) P ( E-,E+ | Bi ) / P(E)
Pero dado que ambos son independientes y
aplicando nuevamente Bayes:
P( Bi | E ) = α P ( Bi | E+ ) P(E- | Bi )
Donde α es una constante de normalización
Definiciones:
Si definimos los siguientes términos:
λ (Bi)= P ( E- | Bi)
π (Bi)= P (Bi | E+ )
Entonces:
P(Bi | E ) = α π (B i) λ (B i)
2
;
'
!"
"
!
"
)
!
' (
. 6
. 6
"
6
""!
!
")! !
! "
! !
!
!!
" *" "!
"! CD! +λ,
"!
* ! ! +π,
8
"
! CD
! +λ,
6
' ; !7 "! CD! ! !
! "
! "
λ (Bi) = P ( E- | Bi) = Πk P ( Ek- | Bi)
' ;! Ek- !
!
* !" "CD!E
" 6
"
#
6
CD
!
>
/
+;, ;
<
+,
=
F
$
"
! CD
! +λ,
6
' /!
!
"! CD!
λ (Bi)= Πk [
!
! "! ! " 6 "!
Σj P ( Ek- | Bi, Sjk) P(Sjk | Bi) ]
' ;! Sk
"CD!E
! "! 6 "!
! "
! ",
"
!
C! ! !+ !
2
"
! CD
! +λ,
6
' ; !7
!
! "
" 6
!
CD!
λ (Bi) = Πk [ Σj P ( Ek- | Sjk) P(Sjk | Bi) ]
'
λ
!"
λ (Bi)= Πk [ Σj P(Sjk | Bi) λ (Sjk)]
6
CD
!
>
/
λ+;, ;
<
λ+ ,
=
&
"
! CD
! +λ,
6
'
!
!
!7 λ
! " 6 "!
"
λ
=
6 ! + 6 "! !
, "! ! ! 6
λ
(+ G ,
0
8
6
* ! ! +π,
"
!
' /!
!
"!!
!!
+-,
"!
6 "!
π (Bi) = P (Bi | E+ ) = Σj P (Bi | E+ , Aj) P(Aj | E+ )
' ;! Aj !
"!!
!
"!
6 "!
1
6
>
-
B
/
;
<
6
=
"
!
' ; !7
H
I
* ! ! +π,
" 6
-
!-
π (Bi) = Σj P (Bi | Aj) P(Aj | E+ )
'
P(Aj | E+ ) !
!
"( ! ! ! " 6
J !
CD! ! "!7
! !
P(Aj | E+ ) = α π (A i) Πk≠B λk (A i)
2
#
6
π+-,
>
/ λ+
/,
;
<
λ+ ,
=
8
6
* ! ! +π,
"
!
!P(Aj | E+ )
'
π
"
π (Bi) = Σj P (Bi | Aj) [ α π (A i) Πk≠B λk (A i) ]
' ;
!
7
"!!
!
! "λ
!
"!
!" π
* CD!
#
6
"
!
4 π
"+ !
' ; !7
!
6
π
=
* ! ! +π,
6 ! "! ! ! 6
(" ! ! "
! ! CD! ,
( + G-,
(&$
$
Algoritmo
Mediante estas ecuaciones se integra un
algoritmo de propagación de probabilidades
en árboles.
Cada nodo guarda los valores de los vectores
π y λ, así como las matrices de probabilidad
P.
La propagación se hace por un mecanismo
de paso de mensajes, en donde cada nodo
envía los mensajes correspondientes a su
padre e hijos:
&
Mensaje al padre (hacia arriba) -- nodo B
a su padre A:
Mensaje a los hijos (hacia abajo) -nodo B a su hijo Sk :
&
Al instanciarse ciertos nodos, éstos envían
mensajes a sus padres e hijos, y se propagan
hasta a llegar a la raíz u hojas, o hasta
encontrar un nodo instanciado.
Así que la propagación se hace en un solo
paso en un tiempo proporcional al diámetro
de la red.
&&
(! )
λ
λ-+>,
λ +-,
-
λ/+-,
/
λΙ+>,
>
λ ;+ ,
;
λ<+;,
λ +,
λ=+;,
<
=
&0
(! )
π
π>+-,
π-+/,
/
πΗ+,
>
π-+ ,
-
π +;,
;
π;+<,
<
π +,
π;+=,
=
&1
/!
'
!
"
! ! C!D ! ! ! !
λ (Bi) = [1,1, …]
'
!!
)
! +! ! ! ,
λ (Bi) = [0,0, ..1, 0, …, 0] (1 para valor asignado)
π (Bi) = [0,0, ..1, 0, …, 0] (1 para valor asignado)
'
! ! KL
π (A) = P(A), (probabilidad marginal inicial)
&
D
"
!
/!
(+/,
$8 $
(+ G
/,
$# $2
$ $&
(+<G,
$# $1
$ $1
<
;!"!
(+;G,
$2 $0
$& $
&2
D
"
!
/!
<?
λ?
$%
<
;!"!
λ?
%
&8
D
λ<?
$%M
# 1G
1%
? # 1%
<
(+<G,
$# $1
$ $1
"
!
/!
λ;?
;!"!
%M
2 0G
& %
?
%
(+;G,
$&#2 $0
$& $
&
D
"
!
λ+/, ? # 1%M # 2G
&%
/!
? 8 28%
λ+ , ? # 1%M
? # 1%
(+ G
/,
$# $2
$ $&
%
<
;!"!
(+<G,
$# $1
$ $1
(+;G,
$0$2 $0
$& $
D
"
!
π+/, ? 8
π+ , ? 8 %M # 2G
&%
? 8
0%
<
%
/!
(+ G
/,
$# $2
$ $&
;!"!
(+<G,
$# $1
$ $1
(+;G,
$02 $0
$& $
D
"
!
π+/, ? 8
%
/!
π+ , ? 8
0%
<
π+;, ? 8 0%M # 1%
2 0G
& %
? 1 #8 20 %
;!"!
(+;G,
$02 $0
$& $
0
D
"
!
π+ , ? 8
0%
λ+ , ? # 1%
/!
(+ ,?α 220 $2$%
(+ ,? # 2 $8&%
<
;!"!
π+/, ? 8 %
λ+/, ? 8 28%
(+/,?α 88 1 %
(+/,? 8 1 81%
π+;, ? 12 2%
λ(;)?
%
(+;,?α 12
2%
(+;,?
2 &&%
0&
;
'
D
"!
!
N
00
Propagación en Poliárboles .
Un poliárbol es una red conectada en
forma sencilla, pero en la que un nodo
puede tener varios padres:
P(B | A1, A2, …, An)
01
1
(! )
(!"* !"
>
/
;
<
=
0
-"
)!
'
" 4! !
")
!
!
!
" " * !"
! "
. /!
" ! "
!! ! !!
π λ
. 6 "!
D λ
!!
!
!
! " "
" *" "!
!
"!
02
Propagación en Redes Multiconectadas
Una red multiconectada es un grafo no conectado
en forma sencilla, es decir, en el que hay
múltiples trayectorias entre nodos (MCG).
En este tipo de RP los métodos anteriores ya no
aplican, pero existen otras técnicas alternativas:
• Condicionamiento
• Simulación estocástica
• Agrupamiento
08
;
' (! )
!
"6
0#
'
H
I
! ! !
" D!
HJ "
I+6 "!
! !D !
6
",
6
' ! "
"! 6 "!
"!D !
HJ "
I7
! ! "
'
)
" "!D !
! ! "
9
) " "! 6 "!
6 "
!
! "
1$
>
/
;
<
=
D "!
N J(+-
<G
= ,
1
2
' ( "88 . / 0 1
'
!" #$. /
28
' ! F!
./ 0
1
8