[TIL] 20191112 웹크롤링

미니프로젝트 중

Posted by Mel on 2019-11-13

오늘 한 일

  • BeautifulSoup, Requests, Selenium 활용 웹크롤링 팀 프로젝트 시작
    • 주제 선정 : 웹툰 각 화 별 제목, 등록일, 평점, 댓글 불러오기
    • 목적 : 평점, 댓글, 작가 또는 작품에 대한 여론 간 상관관계 파악
  • SK True Innovation ‘데이터 공유로 만들어 가는 새로운 가치’ 세미나 참여

good

  • 주피터노트북으로 웹툰 ‘복학왕’ 각 화 제목, 등록일, 평점 크롤링 성공
  • 다음소프트 송길영 부사장의 주옥같은 강연 - 나만의 라이프태그를 만들자!

bad

  • 댓글 크롤링 실패 - 문제 분석 실패

반성할 부분

  • 웹크롤링 관련 코드 개념이 아직 머리에 정확히 인식되지 않음
  • 그래서 언제 어떤 코드를 쓰는게 맞는지 확신이 없음
  • 잘 되지 않으면 완전히 새로운 알고리즘을 짜보려고 시도할 수 있는 노력과 강단이 필요하다.

내일 할 일

  • 불러온 정보 왜, 어떻게 크롤링 했는지, 어떤 방법으로 활용할 것인지 정리
  • 발표 준비하기
    • 준비하면서 잘못했던 부분, 잘 안 됐던 부분, 해결한 방법 등 꼼꼼히 정리
  • ADsP 기출 분석 풀이 끝!

블로그에서 개선하고 싶은 부분

  • 방문자수 확인, 댓글 입력 가능한 위젯 넣기