from urllib import parse
url = 'https://search.naver.com:80/search.naver?sm=top_hty&fbm=1&ie=utf8&query=scraping'
p = parse.urlparse(url)

# 스키마
p.scheme
# 호스트
p.hostname
# 포트번호
# G: url에 없으면 안 나온다.
p.port
# 패스(자원경로)
p.path
# 쿼리
p.query

from urllib import parse
base_url = 'http://main.com'
path1 = '/news/it.html'
path2 = '/news/sports.html'
path3 = '/shopping/cloth.html'
print(parse.urljoin(base_url, path1))
print(parse.urljoin(base_url, path2))
print(parse.urljoin(base_url, path3))

path = [path1, path2, path3]
for p in path:
    url = parse.urljoin(base_url, p)
    print(url, '요청')

pip install requests2
conda install -c conda-forge requests

import requests

url = 'http://www.pythonscraping.com/pages/warandpeace.html'

res = requests.get(url)
print(res.status_code)
if res.status_code == 200:
  print(res.text)

import requests
from urllib import parse

base_url = 'http://httpbin.org'
url = parse.urljoin(base_url, 'get')
print(url)

#요청 header 값 추가 및 변경. dictionary key: 헤더명, value: 헤더값
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36',
    'my-header':'test'
}

# 요청파라미터 : GET- 1. url뒤에 queryString 붙여서 전송.
#                 2. params 매개변수에 dictionary로 넣어 설정.
# url = url+"?id=test-id&password=11111"
# print(url)

#2.
params = dict(id = 'test-id2', password='2345')
params = [('name', '홍길동'), ('name', '이순신'), ('name', '유관순')]

res = requests.get(url, headers=headers, params=params)
if res.status_code == 200:
    res_text = res.text
    print(res_text)
else:
    print("요청페이지를 못 가져옴.", res.status_code)

import requests
from urllib import parse

base_url = 'http://httpbin.org'
url = parse.urljoin(base_url, 'post')
print(url)

headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36',
    'my-header':'test'
}

# POST 요청파라미터 : datas 매개변수에 dictionary나 리스트로 전달. (querystring은 사용안함.)
# 매개변수 param X, data O

datas = {"id":"my-id", "pwd":'1111', "age":[20, 30, 40]}
res = requests.post(url, headers=headers, data=datas)

if res.status_code == 200:
    res_text = res.text
    print(res_text)

# user agent : 웹브라우저 상태를 보고 뭔가 처리가 안 될 경우 응답 결과의 user agent를 확인

import json
d = {'n1':'value', 'n2':20, 'n3':None, 'n4':True}
# dictionary -> json 문자열
j_s = json.dumps(d)
print(type(j_s), j_S)
 # 자바스크립트 기법으로 바뀐다. None -> null, True -> ture
# 키값이 문자열인 것을 확인할 수 있다. - > j_s['n1'] 조회 불가, 딕셔너리 형태지만 딕셔너리가 아니니까!

d2 = json.loads(j_s)
print(d2)
d2['n1'], d2['n2]

import requests
from urllib import parse
base_url = 'http://httpbin.org'   
url = parse.urljoin(base_url, 'post')    # 반복문 활용시 post, get 병용할 때 활용
print(url)

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36',
    'my-header':'test'
}

# Post 요청 파라미터 : data 매개변수에 dictionary나 리스트로 전달.
#                    (queryStirng은 사용 안 함.)
# 매개변수 param X, data O

datas = {"id":"my-id", "pwd":'1111', "ages":[20, 30, 50]}
res = requests.post(url, headers=headers, data=datas)    
# 요청파라미터를 datas로 받아온다는 점이 get과 다르다.
if res.status_code == 200:
    res_text = res.text
    print(res_text)


import json
if res.status_code == 200:
    res_text = res_text
    res_dict = res.json() 
    # 제이슨으로 변환해서 처리해주므로 굳이 load를 하지 않아도 됨
    print(type(res_text), type(res_dict))
    print(res_dict['headers'])
    print("----------------")
    print(res_dict['headers']['Accept'])

# 'url'에 접속하는 코드
# 초록색으로 된 단어들만 추출
# ToDo: 사이트 접근, 사이트 분석(크롤링할 대상, 가져올 데이터, 가져오려면 어떻게?=> 개발자 도구 활용)
import requests
from bs4 import BeautifulSoup

url = 'http://www.pythonscraping.com/pages/warandpeace.html' 
# 주소 넣어서 Enter 치면 나온다 -> 요청 파라미터 없다는 것을 의미
# 요청파라미터 : 서버가 일하기 위해 클라이언트로 부터 받아야하는 값들

# 요청 
req = requests.get(url)

# 응답코드
print(req.status_code)    # 200이 나오면 정상

# 응답이 정상이면 응답 HTML을 읽어서 변수로 저장.
if req.status_code == 200:
    req.text = req.text
# 위 응답이 정상이라면 응답 html 중 초록 단어들만 가져온다.
# <span class = 'green'>
## find를 쓸 경우
soup = BeautifulSoup(req.text, 'lxml')
green_tag = soup.find_all('span', attrs={'class':'green'})
green_content_list = []
for tag in green_tags:
    green_contents_list.append(tag.get_text().replace('\n', ' ').strip())
# tag.get_text 값을 contet_list에 append
# replace('\n', ' ') : 엔터값을 공백으로 대체
# strip() : 좌우공백 없애기

## select를 쓸 경우
# 빨간색 문장들을 조회 - <span class = 'red>
red_tags = soup.select('span.red')
red_content_list = []
for tag in red_tags:
    red_content_list.append(tag.get_text().strip())

print(len(green_content_list), len(red_content_list))

import pickle
with open('green_list.pkl', 'wb') as f:
    pickle.dump(green_content_list, f)
with open('red_list.pkl', 'wb') as f:
    pickle.dump(red_cotent_list, f)
# 읽어올 때
with open('green_list.pkl', 'rb') as f:
    green_list = pickle.load(f)
green_list[:3]   # 세 개만 출력