한 페이지 머신러닝

Bayes's rule & Independence

오늘의 토픽은 가지인데

베이지안 (Bayes’ rule) 이랑

확률의 독립 (independence)

 

오늘의 그림은 왼쪽 상단에서부터 읽음

초록색 동그라미는 W라고 표기해뒀고

파란색 동그라미는 R이라고 표기해뒀고

검은색 네모는 U라고 표기해뒀는데

 

W R U 모두 집합임

중학교 1학년 1학기때 다이어그램 이라는 놈을

기억은 하실듯

마찬가지로

합집합 교집합이 무엇인가 하는 쉬운 것은

설명하지 않겠음

 

 

그림을 가지고서

여러가지 확률 표현을 수가 있음

 

P(W|R) <= 이것은

조건부 확률 (conditional probability)이라고

부르는 것인데

R 손아귀에 있다고 전제했을 W 붙잡힐 확률임

그래서 P(R) 분모로 놓고

P(R 교집합 W) 분자로 놓음

 

저것을 적절히 조립을 하면

P(W|R) P(R|W) 관계를 표현할 수가 있는데

그것을 Bayes’ rule 이라고 부름

 

여기까지는 중고등학교 산수 시간에 하는 것이고

근데 머신러닝 이야기를 하면서

저거를 하고 앉았느냐면

Bayes’s rule이라는 것을 가지고서

[정보가 업데이트된다] 라는 개념을 표현하는 수가 있기 때문임

 

예컨대 항아리에서 공뽑기를 한다면

눈가리고 뽑는 거보다

누가 귓말로 어느 항아리에 공이 얼마나 들었는지를

누가 귓말로 알려준 다음에 공을 뽑으면

더욱 뽑겠지

왜냐면 정보가 업데이트 되었기 때문임

 

P(W)

사전확률 (prior probability)라고 부르는데

전제로 것이 아무것도 없고

사전 정보가 없이 그냥 뽑은 것이라는 말임

눈가리고 뽑았다는

 

P(W|R)

사후 확률 (posterior probability)이라고 부름

일이 일어난 다음의 확률이라는 뜻임

조건부 확률 P(W|R) 이놈이 무엇이라고 했느냐면

R 손아귀에 있다고 전제했을

W 붙잡힐 확률이라 그랬음

근데 손아귀에 있다는 R,

업데이트된 정보라는 말인데

p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px '.Apple SD Gothic NeoI'} span.s1 {font: 12.0px 'Helvetica Neue'}

그러면 정보를 받지 않았을 때보다도

공을 구분해서 뽑을수가 있는 것임

 

원래 있던 정보가 업데이트되면 뭐겠음

배운 것이지

learning 것이므로

머신이 계산을 해주면

머신러닝 것임

 

지금은 W하고 R하고 단순하게 두개만 그려놨지만

Bayesian modeling 하며는

매우매우 여러가지 집합을 서로 엮어서

Bayesian rule 계산을 하게

 

둘째로 중요한 것은

독립 (independent)이라는 개념인 것인데

이것은 고등학교 산수 시간에 배우는 것임

사건 W R 서로 독립이다 하는 말은

마치 듣기로는 서로무관하다/상관없다

이런 말로 해석이 되어서

‘W R 교집합이 공집합이다라는 결론으로 치닫게 되는데

 

그것이 아니라

W R 교집합의 확률이

W 확률과 R 확률의

으로 표현이 되는 경우에

W R 독립이다 라고 부름

 

독립이라는 말은

R 전제되든 아니든 간에

W 뽑힐 확률이 똑같다는 말임

 

반대로

W 전제되든 아니든 간에

R 뽑힐 확률이 똑같다는 말도

 

그게 무슨 말이냐면

정보가 주어져도 업데이트 되는 효과가 없다는 말임

예를 들면

W: 내가 시험을 50 맞아서 엄마한테 맴매를 맞을 확률은

R: 할머니가 시장에서 두부를 사올 확률과

아무런 관계가 없음

 

근데 내가 엄마한테 맴매를 맞는 사건과

할머니가 두부를 사올 사건은

동시에 발생하는 것이 가능하므로

W R 교집합은 공집합이 아님

 

단지 할머니가 사오는 두부가

내가 맴매맞을 확률에 영향을 전혀 주지 않는다는,

그러니까 업데이트 해봐야 도움이 안되는 정보

라는 슬픈 소식을 의미하는 것임

그것이 독립사건 이라는 놈임

 

그림에서 주황색 점선으로 표시한 친구가 두 덩어리 있는데

사건 W와 R이 독립사건이라고 할 때는 둘이 같은 값임

     

저렇게 비율이 균등하게 유지되는 상황이 바로
W와 R이 독립되어 있는 것임


 

댓글

댓글 본문
graphittie 자세히 보기