검색은 콘텐츠다 :: 갈길먼 정부기관의 만인을 위한 정보공유.

2007/08/20 11:38

갈길먼 정부기관의 만인을 위한 정보공유.

2007/08/20 11:38 in 검색이야기

난 한국의 네이버로의 정보집중이나 유저집중이라는 편중현상에 대한 한 주요한 원인으로 한국의 웹페이지들의 검색봇에 대한 왜곡화를 일으키는 웹서비스 제작방법에 있다고 본다.

네이버의 콘텐츠가 아무리 좋아도
70%:5% 라는 심각한 편중이 있을수 없다고 생각한다.

오로지 편집된 결과만을 선호하고 더 넓은 정보를 살펴보지 않는 한국인이라 생각지 않기 때문이다.

주위를 둘러보면 네이버집중이라는 근본적인 현상은 다음과 같이 결론짓는다.

"검색을 해보면 네이버에는 있는데 다른데는 없다"

진짜로 그 정보들이 네이버에만 있는 것일까?

네이버의 그 편집인력과 db확충이 만들어낸 결과물은 네이버외의 다른데서는 찾을 수 없는 것일까?

만약 그렇다면 더이상의 희망은 없다.
여기서 그냥 모든 포털의 검색서비스들은 접어야 한다.

물론 네이버의 편집인과 유저들이 만들어내는 많은 정보에는 공감한다.
그러나 나는 네이버만이 그렇다는 것엔 동의할 수도없고, 또 인터넷이 그래서도 안된다고 생각한다.

다른 포털에서 정보를 찾을 수 없는 원인의 하나는 한국의 웹페이지라는 특수성에서 찾아야 한다.
나는 웹페지이에 대한 증명되지 않는 두가지 가정을 가지고 있다.

하나. robots.txt에 의한 지나친 정보접근 배제
둘. 자바스크립으로 인한 웹크롤러의 접근 불가능.

첫번째는 정보보호라는 명목으로 (선의의) 웹로봇을 근본적으로 차단하자고 하는 의지이며
두번째는 의도되던 되지 않았던간에 웹로봇이 감당하기 힘든 방법으로 크롤에 지장을 주는 행위이다.

인터넷 검색에서 웹로봇의 접근이 중요한 것은
일반인 들이 접속하고 검색하는 행위들이 주로 포털에서 일어나고 그 포털들의 주요 정보원은 웹로봇에 의존하기 때문이다.
반대로 이러한 웹로봇을 막는 행위는 포털이 자신들의 정보를 검색하지 못하게 하여 궁극적으로 유저들에게 자신들이 어떠한 정보를 가지고 있는지 노출시키지 않는 행위가 된다.

주말에 정부부처중 대부분의 사람들의 알고있는 18개 부에 대해 robots.txt를 살펴보았다.

18개 부중 무려 12개가 웹로봇을 막고 있었다.
그중 2개는 구글이 미운지 구글봇만을 막고 있었다.

나는 정부기관이 이렇게 하라고 세금을 내지는 않는다.

이래가지고 어찌 콘텐츠가 자유로울수 있겠는가

아래는 해당 부서의 robots.txt내용이다.

정부조직도
http://www.president.go.kr/cwd/kr/about/organization/government.html

청와대
http://www.president.go.kr/
# exclude some access-controlled areas
User-agent: *
#Disallow: /cwd/kr/bbs/bbs_list.php?meta_id=member_bbs
#Disallow: /cwd/kr/bbs/bbs_list.php?meta_id=free_bbs
#Disallow: /cwd/kr/bbs/bbs_view.php?meta_id=member_bbs
#Disallow: /cwd/kr/bbs/bbs_view.php?meta_id=free_bbs
Disallow: /cwd/kr/bbs/

국무총리실
http://pm.go.kr/
없음

재정경제부
http://www.mofe.go.kr/
User-agent: *
Disallow: /egov
Disallow: /guide
Disallow: /images
Disallow: /imsi
Disallow: /include
Disallow: /issue
Disallow: /korweb_upload
Disallow: /law
Disallow: /lib
Disallow: /mail_old
Disallow: /mevent
Disallow: /mofe_monitoring
Disallow: /monitoring
Disallow: /news
Disallow: /odi_tmp
Disallow: /pear
Disallow: /popup
Disallow: /public
Disallow: /search_old
Disallow: /service
Disallow: /share
Disallow: /share_old
Disallow: /src
Disallow: /test
Disallow: /test_kait
Disallow: /tong
Disallow: /tpl
Disallow: /util
Disallow: /Board
Disallow: /Briefing
Disallow: /about
Disallow: /admin
Disallow: /admin_upload_old
Disallow: /admintool
Disallow: /admofe
Disallow: /banner
Disallow: /briefing_old
Disallow: /cinfo_upload
Disallow: /class
Disallow: /common
Disallow: /commu
Disallow: /data
Disallow: /doc