http://videolectures.net/ecmlpkdd09_eckard_plsitfkb/

앞부분에 PLSI 공부 조금.  들어도 못 알아듣겠다.

http://videolectures.net/slsfs05_hofmann_lsvm/

author: Thomas Hofmann, Google, Inc. 
published: Feb. 25, 2007,   recorded: February 2005,   views: 4072

LSI 설명 조금. SVD로 latent factor를 찾는 것.

PLSI

Document의 context에서 각 단어가 들어 있을 확률을 구할 때,

Latent factors의 확률을 연관된 단어의 확률 계산에 이용

…

Collaborative filtering

http://videolectures.net/mlss09uk_blei_tm/

Topic Models

author: David Blei, Computer Science Department, Princeton University 
published: Nov. 2, 2009,   recorded: September 2009,   views: 33740

LDA

Dirichlet parameter à> Per-document topic proportions à> Per-word topic assignment à> Observed word
<ß Topics <ß Topic hyperparameter

Dirichlet distribution

P(theta|alpha) = gamma ( Sum alpha ) / Power gamma ( alpha_i ) * Power theta^(alpha-1)

Theta ~ Dir(1, 1, 1) = uniform distribution

이게 도움이 많이 되네. 설명도 쉽고, 내용도 알차고. 내용은 쉽지만은 않다.

우선 part 1만 봤다.

Mixture model에서 각 document의 words는 1 topic에서 왔다.

Dirichlet에서 alpha가 작으면, uniform하지 않고, mixture model

Part 1을 잘 이해 못했더니, Part 2는 더 어렵네. 기본 지식이 부족해서 못 알아듣겠다.

뒷부분 실제 실용 예를 듣고 싶었는데, 그냥 막 넘어가네. 아웅.

아직 읽는 중.

Memory based

[PDF]Instance Selection Techniques for Memory-Based ... - DBS

는 online training set이 너무 적다. 정말 크고, 팍팍 변화하는 환경에서는 어울리지 않는다.

논문을 읽어봤더니, memory-based, model-based 설명이 잘 돼 있었다.

users를 다 쓰기엔 너무 많으니까 일부 users만 추려서 collaborative filtering하려는 거네. users selection는 algorithms이 논문의 핵심.

[PDF]Item-based Collaborative Filtering Recommendation ...

도 읽어봤다.

users similarity를 쓰기에는 users가 너무 많고, dynamic하니까 비교적 static한 items의 similarity를 이용하는 논문. popular items만 이용하면 data도 줄일 수 있다.

Model based

users를 clustering한다.

여러 interests를 가진 user를 modeling하기 위해 LSI, Bayesian clustering, PLSI, Markov decision process, LDA 등을 쓴다.

systems 구성을 깔끔한 그림과 자세한 설명으로 소개해줘서 좋네.

따로 공부

Minhashing

11분부터 강의 시작.

jaccard similarity를 정확하게 계산하는 게 아니라 random permutation 중 첫 번째 1이 어디 있냐를 비교하는 방식으로 estimation

hash 중 min을 찾는 방법으로 대신한다.

LSH

설명 중 umm이 많다.

Minhash에 LSH를 쓴다.

https://www.coursera.org/course/mmds

  Week 7 Materials
(expanded, click to collapse)
Completed LSH Families (21:13)  slides for LSH Families (21:13)  Subtitles (text) for LSH Families (21:13)  Subtitles (srt) for LSH Families (21:13) Video (MP4) for LSH Families (21:13)
Completed More About LSH Families (12:57)

...

안에도 설명이 있는데, 화질, 음질이 더 깔끔하다.

하지만, 너무 어렵다 ...

LSI

stanford ng 옛날 강의

text에서 PCA하는 셈. 거의 비슷하다. 그게 끝? LSI설명은 거의 없네.

subspace에 projection하는 것?

PCA, SVD 관계도 조금 알 수 있다. SVD를 이용해서 Xt * X의 eigenvectors (columns of U)를 알아내서 PCA를 계산하는 방법이 있다.