videolectures로 PLSI, LDA 공부

http://videolectures.net/ecmlpkdd09_eckard_plsitfkb/

앞부분에 PLSI 공부 조금.  들어도 못 알아듣겠다.

 

http://videolectures.net/slsfs05_hofmann_lsvm/

author: Thomas Hofmann, Google, Inc. 
published: Feb. 25, 2007,   recorded: February 2005,   views: 4072

LSI 설명 조금. SVD로 latent factor를 찾는 것.

PLSI

Document의 context에서 각 단어가 들어 있을 확률을 구할 때,

Latent factors의 확률을 연관된 단어의 확률 계산에 이용

…

Collaborative filtering

 

http://videolectures.net/mlss09uk_blei_tm/

Topic Models

author: David Blei, Computer Science Department, Princeton University 
published: Nov. 2, 2009,   recorded: September 2009,   views: 33740

 

LDA

 

Dirichlet parameter à> Per-document topic proportions à> Per-word topic assignment à> Observed word
<ß Topics <ß Topic hyperparameter

 

Dirichlet distribution

P(theta|alpha) = gamma ( Sum alpha ) / Power gamma ( alpha_i ) * Power theta^(alpha-1)

 

Theta ~ Dir(1, 1, 1) = uniform distribution

 

이게 도움이 많이 되네. 설명도 쉽고, 내용도 알차고. 내용은 쉽지만은 않다.

우선 part 1만 봤다.

 

 

Mixture model에서 각 document의 words는 1 topic에서 왔다.

Dirichlet에서 alpha가 작으면, uniform하지 않고, mixture model

 

Part 1을 잘 이해 못했더니, Part 2는 더 어렵네. 기본 지식이 부족해서 못 알아듣겠다.

 

뒷부분 실제 실용 예를 듣고 싶었는데, 그냥 막 넘어가네. 아웅.