파이썬으로 웹 크롤러 만들기

웹 어디서든 내가 원하는 데이터를 쏙쏙쏙 

웹에 존재한다면 그것이 어떤 형태이든 데이터로 추출할 수 있다. 필요한 무기는 이 책과 파이썬뿐. BeautifulSoup, 셀레니움, 테서랙트 등 강력한 파이썬 라이브러리 사용법과 함께 API, 인증, 이미지 및 텍스트 인식, 로그인 처리 등 웹 크롤링의 기초부터 고급 기법까지 종합적으로 다루는 유일한 책. 실제 업무와 생활에 적용할 수 있는 예제를 통해 일상의 데이터 분석가가 될 수 있다.

저자 : 라이언 미첼

웹 크롤링, 보안, 데이터 과학에 관심이 많은 개발자. 현재 글로벌 펀드사 헤지서브(HedgeServ)에서 시니어 개발자로 근무하고 있습니다. 프랭클린 W. 올린 공과대학교를 졸업했고 하버드 대학교에서 소프트웨어 엔지니어링 석사 과정을 밟았습니다. 어바인(Abine)에서 웹 크롤러와 봇을 만들었고, 링크드라이브(LinkeDrive)에서는 API 및 데이터 분석 도구를 만들었습니다. 금융업 및 유통업 분야에서 웹 크롤링 프로젝트 컨설팅을 하고 있고, 교육과 강연 활동도 활발하게 펼치고 있습니다. 본서 외 저서로 『Instant Web Scraping with Java』(Packt, 2013)가 있습니다.

역자 : 한선용

웹 표준과 자바스크립트에 관심이 많은 번역가. 2008년부터 웹 관련 일을 했으며, ‘WCAG 2.0을 위한 일반적 테크닉’ 등의 문서를 번역해 웹에 올렸습니다. 번역서로 『한 권으로 끝내는 Node & Express』(2015), 『자바스크립트를 말하다』(2014), 『데이터 시각화를 위한 데이터 인사이트』(2014), 『모던 웹을 요리하는 초간편 HTML5 Cookbook』(2012), 『Head First jQuery』(2012), 『jQuery Mobile』(2012), 『자바스크립트 성능 최적화』(2011, 이상 한빛미디어), 『자바스크립트 프로그래밍』(2013), 『처음 배우는 jQuery』(2012), 『에릭 마이어의 CSS 노하우』(2011, 이상 인사이트) 등이 있습니다.

CHAPTER 1 첫 번째 웹 스크레이퍼
1.1.연결
1.2.BeautifulSoup 소개

CHAPTER 2 고급 HTML 분석
2.1.닭 잡는 데 소 잡는 칼을 쓸 필요는 없습니다
2.2.다시 BeautifulSoup
2.3.정규 표현식
2.4.정규 표현식과 BeautifulSoup
2.5.속성에 접근하기
2.6.람다 표현식
2.7.BeautifulSoup를 넘어

CHAPTER 3 크롤링 시작하기
3.1.단일 도메인 내의 이동
3.2.전체 사이트 크롤링
3.3.인터넷 크롤링
3.4.스크래파이를 사용한 크롤링

CHAPTER 4 API 사용
4.1.API는 어떻게 동작하는가
4.2.공통 표기법
4.3.응답
4.4.에코 네스트
4.5.트위터
4.6.구글 API
4.7.JSON 파싱
4.8.모든 것을 하나로
4.9.마치며

CHAPTER 5 데이터 저장
5.1.미디어 파일
5.2.데이터를 CSV로 저장
5.3.MySQL
5.4.이메일

CHAPTER 6 문서 읽기
6.1.문서 인코딩
6.2.텍스트
6.3.CSV
6.4.PDF
6.5.마이크로소프트 워드와 .docx

CHAPTER 7 지저분한 데이터 정리하기
7.1.코드로 정리하기
7.2.사후 정리

CHAPTER 8 자연어 읽고 쓰기
8.1.데이터 요약
8.2.마르코프 모델
8.3.자연어 툴킷
8.4.추가 자료

CHAPTER 9 폼과 로그인 뚫기
9.1.파이썬 requests 라... 

복잡 다양한 웹에서 우아하게 데이터를 수집하는 방법 A to Z 
우리는 생활 속의 많은 부분이 인터넷에서 이루어지는 시대에 살고 있습니다. 그 어느 때보다 많은 데이터로 넘쳐나는 웹 세상에서 필요한 데이터를 가져와 분석하는 일의 중요성도 커졌습니다. 인터넷을 활보하며 데이터를 수집하는 프로그램을 웹 크롤러 혹은 웹 스크레이퍼라고 합니다. 웹 크롤러는 데이터 수집을 자동화하므로 비즈니스 의사 결정에 큰 도움이 되고, 웹사이트 스캐너로 활용할 수도 있어 보안 분야에서도 사용됩니다.

웹 크롤링은 인증 같은 웹 기술에 대한 이해는 물론, 데이터 정제, DB 저장 등 여러 기술에 대한 지식이 필요한 분야에 속합니다. 따라서 프로그래밍 스킬을 향상하는 데에 아주 좋은 주제이며, 과거에는 프로그래밍 전문가만이 웹 크롤러를 만들 수 있었습니다. 하지만 파이썬이라는 배우기 쉬운 언어와 쉽게 쓸 수 있는 각종 라이브러리들이 등장하며 이러한 장벽은 무너졌습니다. 기업 사례뿐만 아니라 음원 차트 추출하기, 서울의 기온 데이터 추출하기, 게시판 문서 다운로더 등 주위를 둘러보면 의외로 많은 생활 속 사례를 찾을 수 있습니다.

『파이썬으로 웹 크롤러 만들기』는 웹 크롤링이라는 주제 하나에 집중하는 책입니다. 업무상 웹 크롤러를 만들다 푹 빠진 나머지 회사를 나와서도 계속 웹 크롤러를 만들고 있는 개발자가 썼습니다. 파이썬과 라이브러리를 이용하여 아주 간단한 웹 크롤러를 만드는 것으로 시작해서, HTML, API 등 웹 기술의 기초부터 데이터 정제 및 저장, 자연어 처리, 이미지 및 텍스트 인식 등 고급 기법까지 종합적으로 살펴봅니다.

책의 1부는 파이썬과 함께 BeautifulSoup, 스크래파이 같은 라이브러리를 이용하여 아주 간단하게 웹 크롤러를 만들어보며 시작합니다. 나아가 API를 이용한 수집, 데이터를 MySQL로 저장하는 방법, CSV, PDF, 워드 파일을 분석하는 방법까지 필요에 따라 다양한 라이브러리를 활용하여 웹 크롤러를 구현하는 방법에 집중합니다. 위키백과를 크롤링하며 ‘케빈 베이컨의 여섯 다리’(과연 전 세계 사람은 여섯 다리만 거치면 연결될까요?) 문제를 풀어보는 예제도 있습니다.

2부는 웹 크롤링을 둘러싼 더욱 흥미로운 주제와 기법을 다룹니다. 웹에서 가져온 지저분한 데이터를 정돈하고 정제하는 방법(오픈리파인), 자연어 처리(NLTK), 폼과 로그인 뚫기(requests... 

저자, 역자, 편집자를 위한 공간입니다. 독자들에게 전하고 싶은 말씀을 남겨주세요.
접수된 글은 확인을 거쳐 이 곳에 게재됩니다.
독자 분들의 리뷰는 리뷰 쓰기를, 책에 대한 문의는 일대일상담을 이용해 주세요. 

 9 

평균별점 : 내용  편집/디자인  

매주 10편의 우수리뷰를 선정하여 YES상품권 3만원을 드립니다.

1,000원 이상 상품 구매 후 리뷰 작성 시 일반회원 300원, 마니아회원 600원의 YES포인트를 드립니다. 
(CD/LP,DVD/Blu-ray,GIFT,패션/키즈 및 판매금지 상품 제외)

• 웹 사이트에서 원하는 정보를 추출해보자! 파이썬으로 웹 크롤러 만들기 리뷰

  내용  편집/디자인  | pierceh | 2017-05-10 | 추천0 | 댓글0

  최근에 미니 프로젝트로 생각해 둔 것이 있었는데, 매일 뉴스 기사에서 단어를 수집할 필요가 있었다. 그리고 파이썬으로 프로젝트를 해보고 싶은 생각도 있었는데 마침 필요한 것들이 전부 있는 책이 손에 들어왔다. HTML파싱에 필요한 라이브러리부터 문서 포맷 파싱, 자연어처리, 이미지 인식, 유닛 테스트까지 다루지 않는 부분이 없는 엄청난 책이었다. 전문서 ... 

•  파이썬으로 웹 크롤러 만들기

  내용  편집/디자인  |  가드올리자 | 2017-02-15 | 추천0 | 댓글0

  웹 크롤러에 대해서 궁금하고 호기심이 생기던 때에 한번 만들어 볼까? 하고 생각하며 도서를 찾기 시작하다 만나게 된 책 "파이썬으로 웹 크롤러 만들기" 을 구매했다. 다양한 언어로 크롤러를 만들 수 있는데 파이썬 라이브러리가 강력하고 평이 좋아서 파이썬도 공부할 겸 파이썬을 선택했다. 책을 보며 따라 하기만 하면 이해가 되고 정말 강력하고 편하구나 라 ... 

• 파이썬으로 웹스크롤러 만들기

  내용  편집/디자인  | 태공망 | 2017-01-09 | 추천0 | 댓글0

  파이썬으로 웹크롤링에 입문하고 싶으신 분들에게 매우 친절한 책입니다. 친절한 예제위주로 쓰여져 있으며 따라치고 글을 읽다보면 어느정도 기본수준의 크롤링은 하고 있는 스스로를 발견할수 있을것입니다. 회사일로 특정 홈페이 ... 

• 전체 리뷰(9)
• 포토 리뷰(0)
• 스타블로거 리뷰(2)

12 

• 초간단 웹 스크레이핑 입문

  내용  편집/디자인  |  heistheguy | 2017-01-08 | 추천0 | 댓글0

   전 세계가 네트워크를 통해 하나로 연결된 시대이다. 우리 삶도 스마트폰을 통해 온라인과 오프라인을 분명히 나눌 수 없을 정도로 깊이 엮여 있다. 그래서 사람들의 생활과 관심사가 그대로 드러나는 웹은 가공되지 않은 수많은 정보의 보고이다.  그런데 이 웹에서 특정 목적에 적합한 정보를 대규모로 수집하는 것은 사람의 손으로는 하기 힘든 일이다. 그래서 웹에서 정보 ... 

• 파이썬으로 웹 크롤러 만들기

  내용  편집/디자인  | 달콤열정 | 2017-01-08 | 추천0 | 댓글0

  파이썬으로 웹 크롤러 만들기 - 초간단 나만의 웹 크롤러로  원하는 데이터를 가져오는 방법웹 크롤러를 만든다는 제목의 이 책은 말 그대로 파이썬으로 웹 크롤러를 제작하는 방법을 알려주고 있습니다.웹 크롤러가 뭔지도 모르는 사람이지만, 프로그래밍에 관심있는 사람이나, 웹 크롤러가 뭔지는 들어봤지만, 실제로 만들어 본적은없는 사람들에게 크롤러에 ... 

• 아무것도 묻지도 따지지않고 이 책으로 크롤링정복!

  내용  편집/디자인  | 람람뿅뿅 | 2017-01-07 | 추천0 | 댓글0

  이전부터 파이썬으로 크롤링 작업을 하긴 해왔었다.하지만 그러면서도 아쉬움들은 항상 있었는데, 이 책을 읽으며 이러한 아쉬움들을 해결할 실마리와 정보를 많이 얻었다.크롤링이 항상 필요한 건 아니었어서 수집을 하고 엑셀파일로 저장을 해왔었다.하지만 DB에 계속 저장해두고 한번 접속한 웹사이트는 건너뛴다든가, 중복된 내용은긁지 않는다든가 하는 테크닉을 물론 다룬다. ... 

• 크롤링이 뭔가요?

  내용  편집/디자인  | Dedas | 2017-01-07 | 추천0 | 댓글0

  파이썬으로 웹 크롤러 만들기와, 이책은 정말 술술 읽힌다. 신기하다요새 내가 관심있던 것이 크롤링 하여 정보를 쌓는것과그 정보들을 이용하여 챗봇이나, 정보 푸시 또는 서비스 상에 유저에게 여러 정보를 큐레이팅하는 것이었다.요즘 하고있는 프로젝트에 대한 내용이어서 인지책의 구성이 알차게 쓰여져 있어서 인지 몰라도 공감도 잘 되고 술술 읽혔다.크롤링이 어떠한 것인지는 물 ... 

• [도서] 파이썬으로 웹 크롤러 만들기

  내용  편집/디자인  | phoenix32 | 2017-01-07 | 추천0 | 댓글0

  솔직히 유사한 책들(크롤링만은 다루지 않고 한 챕터로 존재하는 경우도 포함해서)이 너무 많아서 크게 기대는 하지 않았습니다. 그런데 평점 5개는 잘 주지 않는데 (정확히는 4.7?) 기대보다 책이 너무 좋아서 평점을 높게 주게되었습니다. 책이 얇아서 처음엔 beautifulSoup 사용법 위주로 설명하는 것으로 생각했는데 해당 부분은 생각보다 길지 않고 실전에 적용하는 사례를 많 ... 

12 

< 나가시기 전에 블로그 글 맨 하단의 배너 광고를 한 번만 클릭해주시면 더 좋은 콘텐츠를 만드는데 큰 도움이 됩니다~ 감사합니다! >

1. 본 블로그에 소개된 시황과 무관한 절대 수익 전략을 이용한 ETF 투자 상품 (클릭) 이 출시되었습니다. 자세한 정보는 여기를 클릭하시기 바랍니다.

2. 경제 / 투자 관련 도서를 조건 없이 무료로 증정하는 페이스북 페이지-'아낌없이 주는 나무'를 만들었습니다. 많은 성원 부탁드립니다~ 클릭!

3. 블로그에서 다룰 급등주 자동 매매 프로그램을 공개적으로 만들고 있습니다. 관심 있으신 분은 여기를 클릭하셔서 회원가입해 주세요~

4. 여러분의 인생이 걸린 너무나도 중요한 소식! --- > 여기를 클릭하세요!