웹 스크래핑 : 기초

Colab을 사용하였다.

>웹스크래핑을 위한 라이브러리 다운로드

!pip install requests bs4

 

>requests 와 Beautifulsoup 라이브러리를 이용하기

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query=삼성전자',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

 

>네이버에 삼성전자 검색 후 검사 > Copy Selector를 이용해 select_one에 넣는다.

a = soup.select_one('#sp_nws1 > div.news_wrap.api_ani_send > div > a')

 

>select_one은 한 개만 챙겨오지만 여러 줄을 가져올 수도 있다.

li를 가져오지말고 그 위에 ul을 Copy Selector 해준다음 li를 추가해주면 li를 다 가져온다.

그 중 class가 news_tit인 a요소를 가진 것을 하나 가져오고 text만 보여준다.

lis = soup.select('#main_pack > section > div > div.group_news > ul > li')

a = lis[0].select_one('a.news_tit')

a.text

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
삼성전자, '비스포크 인피니트 라인' 인덕션 출시

 

>for 문을 이용해서 모든 제목을 불러온다.

for li in lis:
  a= li.select_one('a.news_tit')
  print(a.text)
  
  ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
  
삼성전자, '비스포크 인피니트 라인' 인덕션 출시
삼성전자, 이미지센서 세계 1위 소니 추격…점유율 격차 24.5%→15.9%
삼성전자, '비스포크 인피니트 라인' 인덕션 출시
[단독]삼성, MX사업부 1년만에 또 경영진단...6월 초 JY 보고
[단독]'P5 증설' 준비 돌입...삼성전자, 반도체 초격차 드라이브
삼성·SK·LG·현대차 전략회의 개최…경영 환경 점검
삼성전자, 美 기업평판 6위 올라…아마존·애플 제쳤다
삼성폰, 4월 세계시장 점유율 1위...5년 만에 최고 기록
착공 앞둔 삼성전자 美 테일러시 공장…사진 공개
“中 때문에 손해는 못참지” 삼성D, 결국 이 사업 접는다[비즈360]

 

>함수로 만들기

def get_news(keyword):
  headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
  data = requests.get(f'https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query={keyword}',headers=headers)

  soup = BeautifulSoup(data.text, 'html.parser')

  lis = soup.select('#main_pack > section > div > div.group_news > ul > li')

  for li in lis:
    a= li.select_one('a.news_tit')
    print(a.text)

 

>현대자동차 입력해보기

get_news('현대자동차')

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

[단독]RE100 만든 클라이밋그룹 “현대차 LNG발전소 건설 계획 몰라…심각하게...
현대차, 완주율 70% 불과 ‘녹색지옥’ 뉘르24에 7번째 도전
현대차, 독일 뉘르부르크링 24시 내구레이스 출전
현대차, G90 자율주행 속도 최대 시속 60km 제한
[단독] 현대차, 울산1공장 2주간 휴업…아이오닉5 생산중단
'미래 모빌리티 박차' 현대차그룹…UAM·RAM·AAM 차이는?
졸업하면 현대차 입사…파격 학과 만든 '정의선 모교' 어디
현대차그룹, 국내에 63조 투자…"한국을 미래사업 허브로"
전기차 16조 쏟는 현대차…"한국이 車산업 대전환 주도"
'쌍둥이 가상車'로 배터리 성능관리…현대차, MS와 협업

 

>언론사 추가하기

def get_news(keyword):
  headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
  data = requests.get(f'https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query={keyword}',headers=headers)

  soup = BeautifulSoup(data.text, 'html.parser')

  lis = soup.select('#main_pack > section > div > div.group_news > ul > li')

  for li in lis:
    a= li.select_one('a.news_tit')
    media = li.select_one('a.info.press').text
    media = media.replace('언론사 선정','') # 언론사 선정을 빈공간으로 대체한다.
    print(a.text, a['href'], media)
    
ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ
[단독]RE100 만든 클라이밋그룹 “현대차 LNG발전소 건설 계획 몰라…심각하게... https://www.khan.co.kr/national/national-general/article/202205291450001 경향신문
현대차, 완주율 70% 불과 ‘녹색지옥’ 뉘르24에 7번째 도전 https://www.donga.com/news/article/all/20220527/113654608/1 동아일보
현대차, 독일 뉘르부르크링 24시 내구레이스 출전 https://economist.co.kr/2022/05/27/industry/car/20220527085118508.html 이코노미스트
현대차, G90 자율주행 속도 최대 시속 60km 제한 http://www.busan.com/view/busan/view.php?code=2022052913021581496 부산일보
[단독] 현대차, 울산1공장 2주간 휴업…아이오닉5 생산중단 http://www.fnnews.com/news/202205271513452509 파이낸셜뉴스
'미래 모빌리티 박차' 현대차그룹…UAM·RAM·AAM 차이는? https://www.news1.kr/articles/?4693056 뉴스1
졸업하면 현대차 입사…파격 학과 만든 '정의선 모교' 어디 https://www.joongang.co.kr/article/25074374 중앙일보
현대차그룹, 국내에 63조 투자…"한국을 미래사업 허브로" https://www.hankyung.com/economy/article/202205247572g 한국경제
전기차 16조 쏟는 현대차…"한국이 車산업 대전환 주도" http://news.mk.co.kr/newsRead.php?no=459005&year=2022 매일경제
'쌍둥이 가상車'로 배터리 성능관리…현대차, MS와 협업 http://www.newsis.com/view/?id=NISX20220524_0001883749&cID=13001&pID=13000 뉴시스