Mining Massive Datasets


선생님 3명

1명 원어민

1명 조금 유럽 발음

1명 조금 인도 발음

유럽 발음 선생님 내용이 제일 관심이 있고, 집중이 잘 된다.

machine learning 기술도 많이 배운다.

수학은 좀 덜 나온다. 증명 같은 것은 없다. 이해만 하고 넘어간다.


진도



Link Analysis and PageRank (9:39)


page rank 드디어 배웠다. 계산을 이제 할 수 있겠다!



Minhashing (25:18)



hash function으로 빠르게 계산하는 거 잘 모르겠네.



Week 03


Good cluster

max within-cluster connections

min inter-cluster connections

conductance score = cut score / degrees

optimal cut is NP-hard

Laplacian matrix를 만들어서 eigenvalue decomposition을 하면, 신기하게도 k cluster로 나뉜다.


bipartite subgraphs K_s,t

week02에서 frequent itemset enumeration 대충 봤는데, 여기서 다시 쓰이네.


big data page rank 계산법 등 page rank에 대한 advanced topics에 대해서도 다시 보기.





by 언제나19 2015. 5. 24. 03:22


Core Animation in Practice, Part 1Graphics & MediaiOS
Core Animation in Practice, Part 1 Core Animation is the layer-based animation system that powers the dynamic user experience seen in iPhone OS. See Core Animation in action and learn about its architecture, capabilities, and best practices. Learn how to combine the familiar capabilities of UIKit, Quartz 2D, and OpenGL ES with the power of Core Animation layers and animation. Download: HD | SD    | PDF System Requirements
To watch the streaming version of this video, use the latest version of Safari on a Mac running OS X Lion or later. Alternatively, you can download this video in HD and SD.
Core Animation in Practice, Part 2Graphics & MediaiOS

WWDC 2010 Session 123 – Building Animation Driven Interfaces
WWDC 2010 Session 424 – Core Animation in Practice, Part 1
WWDC 2010 Session 425 – Core Animation in Practice, Part 2


https://developer.apple.com/videos/wwdc/2011/#421

  • Core Animation Essentials
  • Graphics, Media, & Games
  • iOS, OS X



2011년 강의로 기초 공부


[CATransactionAnimation setDuration:2];

만으로도 animation을 실행한다.

CAAction protocol

implicit animation이 싫을 땐,

[CATransactionAnimation setDisableActions:YES];


hitTest screen value를 얻을 땐, presentationLayer를 이용하기


Bitmap cache 얘기 같은 것 듣고 싶었는데, 발표자가 시간이 모자랐는지 그냥 넘어가네..


Replicators라는 것도 있네. 변화를 여러 replicator instances에 조금씩 반영?

Particles는 ios5부터. CAEmitterLayer

이것도 쓸 일은 없겠다.


WWDC 2011 Video: Understanding UIKit rendering
WWDC 2012 Video: iOS App performance: Graphics and Animations


drawRect: layer.contents backing store

CA::Layer::layout_and_display_if_needed(CA::Transaction*)


https://developer.apple.com/videos/wwdc/2014/#419

  • Advanced Graphics and Animations for iOS Apps
  • Tools
  • iOS



Layout --> Display --> Prepare --> Commit

layout: CPU, IO

display= drawRect, string drawing: CPU, memory

prepare= image decoding

commit= package up layers and send to render server


  1. animateWithDuration 
  2. layoutSubviews
  3. Render each frame

Command buffer --> Tiler (vertex processing, tiling) --> Parameter buffer --> Render (pixel shader) --> Render buffer

를 연속적으로 pipelining

16.67ms

gpu context switch때문에 gpu idle time이 생기곤 한다.

shouldRasterize

extra offscreen passes when updating content -->> 정적인 content에 쓰기

cache size는 2.5x of screen size에 한정돼있으니까 overuse하지 말기.

rasterized images는 100ms 이상 동안 안쓰인다면 evicted from cache


Tools

performance issue가 있다면, 생각해 보자

  1. frame rate = 60 frame/sec
  2. CPU or GPU bounds
  3. GPU desirable > CPU
  4. fewer offscreen passes
  5. less blending
  6. Dont use strange image formats
  7. visual effects costs
  8. view hierarchy

Instruments

Core animation instrument, OpenGL ES drivier instrument

color blended layers에 check하면, 얼마나 겹쳐 있는지 알 수 있다.

color hit green and ... red: cache 안돼있을 때 빨갛게 표시

color copied images: 지원 안하는 color format 때문에 시간 걸릴 때

color misaligned image

color offscreen yellow




2012, 2013 년에는 mac os x Cocoa Animation

  • Best Practices for Cocoa Animation
  • Frameworks
  • OS X



https://developer.apple.com/videos/wwdc/2012/

Layer-Backed Views: AppKit + Core Animation Essentials OS X
Layer-Backed Views: AppKit + Core AnimationPlay Learn how to effectively use layer-backed views in AppKit to...



한편, 그리기 video가 너무 없네.


https://developer.apple.com/videos/wwdc/2011/#129

Practical Drawing for iOS DevelopersApp FrameworksiOS







by 언제나19 2015. 4. 9. 23:46



coursera에

https://www.coursera.org/course/pythonlearn

University of Michigan
Programming for Everybody (Python)
This course aims to teach everyone to learn the basics of programming computers using Python. The course has no pre-requisites and avoids all but the simplest mathematics. Anyone with moderate computer experience should be able to master the materials in this course.


Watch Intro Video


그 외에도 4개 있는데, 지금은 안 열렸네.


University of Toronto
Learn to Program: The Fundamentals
with Jennifer Campbell & Paul Gries
There are no open sessions.

Rice University
An Introduction to Interactive Programming in Python
with Joe Warren, Scott Rixner, John Greiner &
There are no open sessions.

Stanford University & Universitat Pompeu Fabra of Barcelona
Audio Signal Processing for Music Applications
with Prof Xavier Serra & Prof Julius O Smith, III
There are no open sessions.

University of Washington
High Performance Scientific Computing
with Dr. Randall J. LeVeque
There are no open sessions.


itunes에는


Hands-On Python Tutorial - Chapter 1 Loyola University Chicago Hands-On Python Tutorial - Chapter http://deimos3.apple.com/WebObjects/Core.woa/Feed/luc.edu-dz.8736070708.08736070710

쉬운 내용을 가르쳐준다.
기본 문법부터.


https://www.edx.org/course?search_query=python



Introduction to Computer Science and Programming Using Python
VERIFIED
MITx
6.00.1x
Introduction to Computer Science and Programming Using Python

Current
Starts: January 7, 2015
Introduction to Big Data with Apache Spark
VERIFIED
UC BerkeleyX
CS100.1x
Introduction to Big Data with Apache Spark

Starting Soon
Starts: February 23, 2015
Data analysis to the MAX()
DelftX
EX101x
Data analysis to the MAX()

Upcoming
Starts: April 6, 2015
Introduction to Functional Programming
VERIFIED
DelftX
FP101x
Introduction to Functional Programming

Archived
Starts: October 15, 2014
Introduction to Computational Thinking and Data Science
VERIFIED
MITx
6.00.2x
Introduction to Computational Thinking and Data Science

Starting Soon
Starts: March 4, 2015
Autonomous Navigation for Flying Robots
TUMx
AUTONAVx
Autonomous Navigation for Flying Robots

Archived
Starts: May 6, 2014
Quantitative Biology Workshop
VERIFIED


7개나 있다.


그 외에도 udacity 등에서 찾아보기.


google 것

https://developers.google.com/edu/python/




by 언제나19 2015. 1. 15. 00:23












MITx: 7.00x Introduction to Biology - The Secret of Life



https://courses.edx.org/courses/MITx/7.00x/2013_SOND/wiki/7.00x/lecture-links/

에서 mp4를 받을 수 있다.

week 별로 torrent 파일로 통째로 받을 수도 있다.


선생님이 결론만 얘기해주는 것이 아니라 이야기를 해주니까 너무 좋다.

L10 DNA


강의 내용이 좀 유전자 중심이다. 선생님이 자기 전공 중심으로 강의하시는 듯.

내용은 매우 알차다.



단어장

http://wordbook.daum.net/my/wordbook.do?id=9036461



진도


Lecture 1: Introduction to Biology


biology가 어디에 쓰이나

medicine, forensic, history, genetic engineering,

사람의 1/4는 네안데르탈인 DNA네.


Biosphere > Ecosystem > Organism > Organ > Tissues > Cells > Organelles > Molecules


biochemistry, genetics, molecular biology,

biological function, protein, gene,

의 관계. 마지막에 recombinent DNA가 역할을 했네.


Lecture 2: Biochemistry of Life


The death of vitalism

en(something) + zyme(yeast)


Non covalent bonds

  1. hydrogen bond

  2. ionic bond

  3. van der walls bond: polar도 아닌데 일시적으로 negative positive가 생기는 것. 예: gecko


Hydrophobic forces


hydro phobic, phillic: lipid bi-layer

negative를 3개 모아두면, 에너지를 저장할 수 있다. ATP


설명이 효과적이다.


Lecture 3: Proteins and Protein Structure


단백질부터 배우네.

아미노산은 amino - C - carboxyl 과 R이 합쳐진 것


secondary structure

  1. alpha helix

  2. beta sheet

  3. loops

조합으로 tertiary structure를 만든다.

quatenary structure: 또 조합. hemoglobin은 단백질 4개의 조합.


Lecture 5: Glycolysis


delta G > 0 ⇐⇒ A → B reaction is unfavorable

A + C → B + D 로 favorable reaction으로 바꿀 수도 있다.

ATP가 delta B << 0



Lecture 6: Mendel


MENDEL'S EXPERIMENTS


6.2

멘델이 그냥 나온 게 아니네. 유럽이 신대륙을 찾아서 새 품종을 많이 들여왔고, 이런 저런 breeding실험을 했다. spain의 wool이 좋았는데, 옛날 Moravia라는 나라의 fashion industry에서도 spainish 양을 들여와서 local에서 키우고 싶어했고, 과학자를 양성했다.



cytology가 발달했고, 세포 안에 뭔가 염색이 되는 것이 발견됐다. 이름 먼저 붙였다. colored body: chromosome

세포 분열 동영상을 보여주는데, 놀랍다. 처음 볼 땐 소름 돋았네.



Week 08

population genetics

혈우병처럼 우성 유전이면 2pq + q^2 = 2pq

cystic fibrosis처럼 열성 유전이면, 1/2000 가 발생할 때, q = root 1/200 = 1/44

근데, cystic fibrosis 자식이 있는 보인자 부모 family를 엄청 모아서 조사해 보면, 1/4가 아니라, 1/3이 나온다. 자식이 cystic fibrosis가 안나타나면, 계산에 포함되지 않아 버리기 때문에.


first cousin marrage에서 부모 중 1명이 보인자이면, 1/16로 gene이 전달된다.


Lecture 10: DNA as the Hereditary Material


DNA 구조


sugar + phosphate + …

+ base (A, C, T, G)


protein에는 sulfur가 있고, DNA에는 인이 있다.

두 atom의 isotope을 갖고 있는 bacteria phage

P가 bacteria로 들어가는 것을 알게 됐다.


Chargaff가 nA = nT, nG = nC를 알아냈다.

라이너스 폴린이 triple helix model을 만들었다.


왓슨 크릭 DNA pager가 양면 1 page밖에 안되네.


Lecture 11: Central Dogma: DNA Replication


DNA의 helix가 다른 helix를 복사하는지 알기 위해서

isotopes of N: 14N, 15N

두 개를 사용하는 방법이 있었네.


Arthur Kounberg

복사 화학 반응 mechanism을 이해하기. 실제 DNA replication보다는 매우 느리다.

3’ 쪽에 OH가 있다. pppGOH 같은 게 달라붙는다.


맨 처음 primer는 어떻게 붙나. primase enzyme

복사한 다음에 얽혀 있는 두 개를 분리해내는 것은 topoisomerase


Lecture 12: Central Dogma: Transcription and Translation



RNA Polymerase 에 의해서 transcription 시작?

proof reading이 없다. 에러가 1/10^4



Lecture 15: Cloning: Purifying a Gene


bacteria에 restriction enzyme이 있는데, virus로부터의 defence mechanism. 그래서 restriction.

자기 gene에는 잘림 methylase으로 방지를 해 놓는다.


plasmid에는 antibiotic resistant gene이 자주 있다.

bacteria가 죽으면, 동그란 gene이 그냥 드러난다. 다른 bacteria가 먹는다.

horizontal transform으로 antibiotic resistant bacteria가 엄청 생길 수 있네.



Lecture 16: Finding a Specific Gene in the Library


recombinant DNA를 만들 때, ligase가 bacteria DNA를 다시 붙여버리지 않도록, 5’에 P를 제거한다.



Lecture 17: Analyzing a Gene


3’의 OH까지 떼어내면, defective T같은 것을 만들어서, 임의의 길이의 DNA를 얻는다.


Lecture 18: Human Genome and Positional Cloning


human genome project 초기 방식설명.

1. Genetic mapping: 대충 어디 쯤인지 genetic marker와 교차율 계산해서 알아내기

2. Physical mapping: target을 좁혀 나간다. 겹치는 작은 영역을 중첩해가면서.



L19

mithocondria DNA를 조사하면, 세상의 모든 사람의 엄마를 추적할 수 있다.

네안데르탈인과는 섞이지 않았다.


Lecture 20: Observing



백혈병이 2가지가 있다. AML, ALL

이제는 tumor RNA로 금방 판단할 수 있다.



Lecture 21: Perturbing the Genome to Probe Function


double stranded RNA를 넣으면, mRNA를 제거할 수가 있다.

double stranded RNA virus에 대한 defence mechanism


VLDL

LDL =< low density lipoprotein = bad cholesterole

IDL

HDL = good cholesterole

chylomicrons


VLDL → IDL → LDL


LDL receptor가 문제였네.


막판에 토론도 재밌다. 선생님이 특허법 등에 대해서도 심도 있게 lead해 준다.

BRCA1 gene이 patent 인 것에 대해서.

US Supreme court 결정은 아직 안 난 상태였네. 2013년 06월에 결정 났네. 특허 취소.

http://ipleft.or.kr/?p=4866




by 언제나19 2014. 8. 15. 00:19



https://developer.apple.com/library/prerelease/ios/documentation/DeveloperTools/Conceptual/testing_with_xcode/Introduction/Introduction.html


Testing in Xcode 6
Tools
iOS, OS X
Testing in Xcode 6
Session 414
Play
 
Unit testing is an essential tool to consistently verify your code works correctly. Learn how Xcode 6 takes this to the next level with support for performance testing, baselining, and integration with Xcode bots to continually monitor your performance over time and devices.
Download: HD | SD | PDF


  1. command u로 실행하거나
  2. side bar에서 하나씩 버튼 눌러서 실행하거나
  3. command로 실행


demo를 objective c로 보여주네. swift를 기대했는데..


OCUnit은 Xcode 5.1부터 deprecated됐다.


Asynchronous testing


test case 1개씩 profiling하는 것도 쓸만 하겠다.


measureBlock은 여러 번 실행하고 실행시간 평균과 standard deviation 등을 계산해 주나 보다.



Testing in Xcode 5ToolsiOS, OS X
Testing in Xcode 5Session 409Play Unit testing is an essential tool to consistently verify that your code works correctly. Learn how Xcode 5 makes it dramatically easier to create, edit, execute, and understand your tests. Download: HD | SD     | PDF


unit testing 얘기부터 시작


XCTest가 Xcode5부터 나왔나보네.

Test Navigator 등은 이 때 더 잘 설명해줬었다.


xcode server에서 test실행하는 것을 local xcode에서 할 수 있는 건가





by 언제나19 2014. 6. 25. 14:48