[파이썬]BeautifulSoup를 이용하여 파싱하기

1. 개요

 파이썬으로 네이버 검색어 순위를 파싱해 봅니다.

2. 소스코드

  개발자 도구 열어 페이지의 소스코드를 확인합니다. 

소스 코드를 보면 id가 realrank인 <ol> 테그 안에 들어있는 것을 알 수 있습니다. 그리고 <ol> 테그 안에는 각각 <li>테그에 검색어 들이 들어 있습니다.

여기까지 html 코드를 가져오는 python 소스코드입니다.

import urllib2 from BeautifulSoup import BeautifulSoup url = "http://www.naver.com/" soup = BeautifulSoup(urllib2.urlopen(url).read()) rank_list = soup.find(id="realrank") rank_list_li = rank_list.findAll('li') for i in rank_list_li: print i

find함수는 가장 먼저 나오는 것을 리턴하며 findAll은 조건에 적합한 모든 것을 리스트로 저장합니다. 위의 rank_list_li를 출력한 값은 다음과 같습니다.

위 데이터에서 실제로 필요한 값은 a 테그에 들어있는 title 값입니다.

따라서 데이터를 가져와 필요한 부분만 잘라냅니다.

for i in rank_list_li: title = str(i.find('a')) print count, ".", title[title.find('title="')+7:title.find('">')]

title[title.find('title="')+7:title.find('">')]

위 코드에서 +7을 해주는데 +7의 title=" 뒤부터 가져오게 하기 위해서 입니다.

3. 결과

  최종 코드와 결과입니다.

import urllib2 from BeautifulSoup import BeautifulSoup url = "http://www.naver.com/" soup = BeautifulSoup(urllib2.urlopen(url).read()) rank_list = soup.find(id="realrank") rank_list_li = rank_list.findAll('li') count = 1 for i in rank_list_li: title = str(i.find('a')) print count, ".", title[title.find('title="')+7:title.find('">')] count += 1