검색엔진 이야기(1) - 검색은 구글, 네이버, Bing만 있는 것이 아니다.
IT산책제목이 좀 거창한 것일지 모르겠지만 제가 알고 있는 검색엔진 이야기를 좀 해볼까 합니다.
일반적으로 우리는 "검색"이라는 단어를 떠 올릴 때 검색 = 구글, 검색 = 네이버를 생각합니다.
"검색하다 = 구글하다"라는 말이 이상하지 않을 정도로 구글은 검색의 대명사가 되었습니다.
하지만 냉정히 말하면 구글은 웹검색엔진입니다.
즉, 인터넷 상에 존재하는 수많은 공개된 웹사이트의 내용을 검색하는 엔진일 뿐 그 이상도 그 이하도 아닙니다.
네이버 또한, 검색에서 출발하였지만 지금은 검색이라기 보다는 데이터를 유통하는 포탈일 뿐입니다.
그럼 검색이 필요한 곳은 또 어디에 있을까요?
예를 들어, 내가 사는 동네의 동사무소, 구청, 시청의 홈페이지를 생각해 봅시다.
몇년 전부터 시청이나 구청의 홈페이지들도 앞다튀어 리뉴얼을 하고, 각종 게시판 및 컨텐츠를 보강하면서 데이터양이 급속도로 증가하게 되었습니다.
시민들이 시청 홈페이지의 특정 게시판에서 과거 게시물을 검색하고 싶을 때, 이때도 검색이 필요합니다.
이런 경우, 구글이나 네이버가 이 일을 해 줄까요? 그렇지 않습니다. (물론, 약간씩 검색이 되는 경우도 있습니다.)
시청이나 구청이 아닌 행정안전부, 노동부 등 민원이 자주 발생하는 곳의 게시판에서 검색을 하는 경우라면,
이 경우에 구글, 네이버를 이용할 수 있을까요? 역시 그렇지 않습니다.
다른 예를 들어보겠습니다.
일반적으로 회사나 공공기관은 전자결재, 지식관리시스템, 문서관리시스템 등을 도입하여 사용하고 있습니다.
이 역시 도입된지 몇년씩 되었기 때문에 회사, 공공기관 내부에 축척된 데이터는 굉장히 큽니다.
업무상 과거 자료를 검색해야 하는 경우, 어떻게 할 수 있을까요?
우리가 알고 있는 구글, 네이버, 야후, MS의 최신작 Bing 등등 익히 알려져 있는 검색엔진들은 이러한 데이터 들을 검색해서 사용자에게 제공하지 못합니다.
이런 경우에는 기업용 검색엔진 솔루션을 도입하여 해당 기관, 회사내에 존재하는 데이터만 검색하도록 시스템을 별도로 구축해야 합니다.
이런 일들을 전문적으로 하는 회사들이 우리나라에 있습니다.
가장 대표적인 회사가 와이즈넛(http://www.wisenut.com)입니다.
우리나라에서 검색을 가장 잘 하는 회사입니다.
그 외, 코난, 다이퀘스트, 오픈베이스 등의 회사들이 이런 일을 합니다.
아마도 자주 들어본 이름은 아닐 것으로 생각됩니다.
이들 회사들은 기업이나 공공기관에 각종 데이터베이스(오라클, MS-SQL, Sybase, Informix, MySQL 등)에 저장된
각종 정보를 수집하고 색인해서 검색할 수 있도록 구성합니다. (이 부분에 대해서는 별도로 포스트를 올리겠습니다.)
우리들이 구글이나 포탈을 이용하지 않고도
일반 인터넷 사이트에서 편하게 검색해서 정보를 찾는 경우는 이런 업체들이 해당 웹사이트에 검색솔루션을 구축한 경우입니다.
오늘은 여기까지 입니다.
검색관련되어 관련 포스트를 계속 올려보겠습니다.
관련 포스트 :구글의 수집로봇과 같은 웹로봇의 동작 원리
