검색은 콘텐츠다

전세계적으로 IT분야에서 클라우드 플래폼이 신성장 동력으로 떠오르는 가운데,
국내에서도 이러한 클라우드플래폼상에서 데이터서비스와 검색엔진이 가능하게 하는 클라우드 검색 서비스가 등장한다.

클라우드 컴퓨팅관련 서비스로는 구글이 가장 대표적이고, 아마존의 EC2, S3등의 서비스가 존재한다.

데이터관리측면에서의 클라우드 플래폼은 대용량의 높은 확장성(Scalable)을 보장하는 안정적인 데이터서비스를 목적으로 구현되어 왔다.

이러한 목적의 분산 데이터 관리시스템으로는 구글의 BigTable과 아마존의 Dyamo, 그리고 오프소스형태의 Cassandra, CouchDB, HBase, Neptune등이 있다.

그리고 현재 알려진 클라우드 데이터 서비스 플래폼으로는 아마존의 SimpleDB, 마이크로소프트의  Azure 그리고 구글의 AppEngine등이 존재한다.

이번에 공개될 그루터의 클라우드데이터검색플래폼(GAIA)은 이러한 대용량 분산데이터의 관리 및 서비스를 목적으로 한 플래폼으로서 이들과 유사한 데이터 관리 기능을 제공하지만, 큰 차별점으로는 이들 데이터에 대한 검색엔진 서비스 기능을 제공한다는 것이다.

여타 플래폼들은 각 데이터에 대한 <key, Value>쌍의 제한적 인덱스 서비스이거나 각 필드들에 대한 단순 인덱스 서비스만을 제공하는데 비해 GAIA는  모든 필드에 대하여 사용자 정의에 따른 고가용성의 인덱싱 검색 서비스를 제공한다.

실제로 클라우드데이터 서비스에서 검색엔진 서비스가 접목되는것은 GAIA가 처음이다.

GAIA를 이용하게 되면 별도로 검색엔진과 스토리지에 대한 도입및 개발부담을 덜수 있으며
사용자는 데이터베이스 입출력 처럼 쉬운 데이터처리와 동시에 자신들의 요구사항에 맞는 랭킹튜닝등을 행할수 있다.
GAIA는 플러그인방식을 도입하여 랭킹 개발자나 써드파트의 형태소분석기등을 접목하여 자신만의 알고리즘을 접목할 수도 있다.

GAIA 서비스는 내부 및 관련개발자들과 알파테스트를 거친후 조만간 베타서비스로 공개될 예정이다.
현재 REST를 기본으로한 공개API를 제공하고 있으며, 기본적인 SQL 언어을 지원할 예정이다.

GAIA에는 분산스토리지플래폼인 hadoop, 분산데이터관리시스템인 Neptune과 HBase, 그리고 검색라이브러리인 Lucene, Solr, Nutch등과같은 다양한 오픈소스 기술들과 기법이 응용되었다.

2009.4.1.