얼마전 구글 research blog에 map/reduce와는 또 다른 새로운 분산 컴퓨팅 환경이 소개되었습니다. Pregel이라고 하는 Graph 처리에 특화된 일종의 Graph computing tool 입니다.

여기서 Graph란 노드(node)와 링크(link)로 구성되는 어떤 것들의 관계 네트워크를 말합니다만, 정보검색 분야에서는 문서와 단어의 연결관계나 공저자(co-authorship) 네트워크를 말합니다. 예를 들면, web 문서들의 link 구조 같은 것이죠.

IT에 종사하는 분이라면, web 2.0 화두였던 social network 에서 "사람간의 관계에서 Hub (마당발)에 있는 사람들을 상대로 마케팅하면 큰 효과가 있다"라는 이야기를 누구나 한번쯤 들어보았을것 입니다. 이와 같은 맥락으로 Graph computing tool이 구글의 "페이지 랭크", "스팸 사이트", "애드센스 abusing", "개인화 문제", .., 등등 많은 정보처리 분야에 응용되는 모습을 쉽게 상상해볼 수 있겠죠.

기존의 RDBMS로는 Graph 데이터를 다루기 쉽지 않을 뿐더러 (거대한 Graph 데이터라면 더더욱) 저장하더라도 빠른 Graph algorithms를 프로세싱하기란 쉽지 않은 문제였습니다.

곧 논문으로 나올것같은데, 기술적인 자세한 글은 그때가서 작성해보기로 하겠습니다.

- http://googleresearch.blogspot.com/2009/06/large-scale-graph-computing-at-google.html
- http://blog.udanax.org/2009/06/pregel-googles-large-scale-graph.html

@ 윤진석 <edwardyoon@apache.org>