최근 네이버와 쿠팡을 활용해서 수익화하는 방법을 찾고있습니다. 이 때 필요한 것이 네이버 쇼핑 아이템 이름을 크롤링하는 것입니다. 파이썬을 활용해서 해당 예제를 만들어 보았으며, 이를 활용하면 간편하게 물건의 이름을 크롤링해올 수 있습니다.
이번 포스팅에서는 파이썬 네이버 쇼핑 크롤링 방법 및 예제에 대해 여러분과 공유하고자합니다. 개인적으로 사용하기 위해 만든 예제이지만, 많은 사람들이 사용하면 가치를 가지게 되기 때문에 공유합니다.
예제 내용
네이버 TOP 100이라는 쇼핑 메뉴에 나타나는 제품의 이름을 크롤링해오는 예제입니다. 아시는 분은 아시겠지만, 크롬 브라우져에서 F12를 누르고 마우스를 원하는 위치에 갖다대면 적용된 HTML 및 CSS 코드를 확인할 수 있습니다.
예제 : 상품명을 크롤링해오는 예제
우리가 파이썬을 활용해 네이버 쇼핑에서 크롤링해오고자하는 내용은 물건의 이름이며, p.cont로 지정되어 있습니다. 코드에서는 p.cont로 뒤에오는 이름을 가져오기만하면 됩니다.
전체 코드
사실, 저도 크롤링에서는 문외한인지라 어느정도의 원리만 파악할 뿐, 적당히 긁어서 사용하고 있습니다. 따라서, 파이썬을 활용해서 네이버 쇼핑을 크롤링하는 방법에 대해 자세히 설명하지 못합니다. 이에 관련한 예제 코드는 아래와 같습니다.
블로그 정책상 예제 코드 복사가 안되기 때문에 아래에 첨부파일로 남겨두었으니, 다운받으셔서 사용하시면 됩니다. 파이썬 파일로 저장된 크롤링 예제 코드입니다.
Naver_Shopping_Crawling_Example.py# 경로 선언
URL = 'https://search.shopping.naver.com/best100v2/detail.nhn?catId=50000003'
Directory = 'C:/Users/User/Desktop'
# 패키지 선언
from bs4 import BeautifulSoup
from urllib.request import urlopen
# 데이터 크롤링
with urlopen('{}'.format(URL)) as response:
soup = BeautifulSoup(response, 'html.parser')
save = []
for anchor in soup.select("p,cont"):
data = anchor.get_text()
save.append(data)
# 데이터 가공
save_2 = []
for i in range(0, len(save)):
save_2.append(save[i].replace('\n', '')+'\n')
# 데이터 저장
f = open("{}/네이버쇼핑_2.txt".format(Directory), 'w', encoding='UTF-8')
f.writelines(save_2[7 : -3])
f.close()
간단히 코드를 설명하자면, 위에서 크롤링할 주소를 선언해주고 상품리스트를 저장할 디렉토리를 설정해주면 됩니다. 아래는 적당히 크롤링한 데이터를 보기 좋게 저장하기 위해 파이썬 코드로 살짝 데이터를 가공했습니다.
이를 사용하면 파이썬을 활용해 네이버쇼핑 데이터를 크롤링 할 수 있습니다. 코드 실행이 완료되면 지정한 위치에 크롤링된 데이터로 이후어진 txt 파일이 저장됩니다.
마치며
이번 포스팅에서는 파이썬 네이버 쇼핑 크롤링 방법 및 예제에 대해 여러분과 공유했습니다. 많은 분들께서 알고 계시겠지만, 내용 확인하시고 일상에 도움이 되었으면 좋겠습니다.
댓글