거니의 문과 감성 실용 파이썬(길벗)

#2320

문과라면 개발과는 거리가 멀다라는 선입견이 있지만 옛날 말이고.. 업계에 얼마나 많은 비전공자 많은데.. 문과, 감성, 실용 그리고 파이썬. 개발과 관련된 내용들이 많이 퍼지면서 비전공자도 쉽게 익힐 수 있는 언어로 파이썬이 꼽히긴 한다. 문과생을 위한 내용답게 설명하고 있을지 궁금하다.

# 파이썬 그리고 크롤링

파이썬은 몇 번인가 건드려 본 적이 있다. 말 그대로 건드려 본 적. 문법이 대충 어떻고, 게임도 만들 수 있고, 자동화 프로그램도 만들 수 있고, 웹도 가능하고 그중에서도 R과 함께 데이터와 크롤링 관련된 내용으로 많이 다루고 있어 관심을 가지고 접해 본 거였다.

필요한 정보를 키워드 등록해 놓으면 자동으로 검색해서 추려준다니 얼마나 멋진 일인가. 어떤 업무든 자동화가 가능한 작업은 최대한 자동화를 시켜둘 수 있다면 업무 효율이 오르는 만큼 적극적으로 업무 프로세스를 파악할 필요가 있다. 그래서 더 호응을 얻은 것도 이유 중 한 가지 일 것 같다. 크롤링은 특정 사이트에 계속해서 접속해서 데이터를 긁어오는 관계로 무분별하게 사용할 경우 법적문제도 있는 것으로 알고 있으니 조심해야 한다. 뭐, 개인이 해봐야 얼마나 하겠느냐만.. 파이썬을 활용한 크롤링의 활용도가 업무와 궁합이 맞다면 이만큼 좋은 건 없겠다. 그래서 다시 크롤링을 좀 더 쉽게(?) 풀이했을 것이라 기대하며 책을 접했다.

# 거니의 문과 감성 실용 파이썬

일단 앞장은 넘어가고 가장 관심이 있는 웹크롤링부터 용감하게 도전했다. 당연히 초장부터 막혔다. 무엇보다 책 기준이 윈도 기준이라서 맥 사용자에 대한 가이드는 따로 없었다. 웹 크롤링을 하기 위해 Anaconda를 설치해서 진행해야 한다고 하는데 우선은 구글의 Colab으로 진행해 봤다. 설치를 진행하는데 계속 에러가 나온다. 파이썬이라면 특별히 문제없이 진행되었던 것 같은데 이상하다. 구글을 계속 뒤지는데 꽤 시간을 소비했다. 결국 돌고 돌아 도착한 깃허브에 올라온 내용을 보고 selenium 설치에 성공할 수 있었다.

Issues when trying to use Chromedriver in Colab · Issue #3347 · googlecolab/colabtools

제대로 실행되지 않는 것 같아 Anaconda를 설치하고 새롭게 도전을 해 보려 했는데 어라. 이번엔 CMD.exe Prompt를 찾을 수가 없다. 아.. 당연히 맥에서는 exe는 없을 것이고. 또 이리저리 검색을 하니 맥에서는 terminal이 prompt를 대신한다는 것을 알았다. 한 장 넘어가기가 힘들다. 해결 방법은 찾았는데 터미널과의 싸움이 예상되어 다시 Colab에서 차근차근 진행해 보기로 했다. 오타 확인하면서 천천히 하면 된다. -_-;;

우여곡절 끝에 결국은 성공! 돌아가는 것을 보니 신기하고 재미있다.

시간순으로 재검색을 하고 결과의 유무도 계속 기록되고 있는 걸 보니 뭔가 만들었다는 기분이 든다. 거니의 문과 감성 실용 파이썬에도 안내되어 있지만, 이걸 한번 한다고 해서 이대로 써먹을 수 있는 곳은 없는 게 현실이다. 대신, 어떤 정보를 취득하고 싶을 때 어떤 식으로 접근하는 것이 좋을지에 대해서는 가이드가 되어 줄 것 같다.

# 관련 코드

구글드라이브에 올려 두었다고 해도 아마 분명 시간이 지나면 작업했던 것도 잊어버릴게 뻔하니 관련 코드 메모. 크롤링에 필요한  과정은 크게 2가지로 selenium, beautifulsoup4를 인스톨하고 크롤링을 위한 소스를 추리는 과정으로 나눌 수 있을 것 같다.

설정 부분

실행 부분

실행 부분을 잘 정리하고 크롤링하고자 하는 사이트의 구조를 잘 맞추면 크롤링이 된다

# 후기

전체적으로 책을 따라 하면서 작업해 본 작업이지만 시간대비 효과(재미)가 있었던 것 같다. 초반에 좀 시간이 들긴 했지만, 그 뒤로는 크게 어려움을 느끼진 않았던 것 같다. 적절한 수준의 분량으로 각 내용을 정리하면서 넘어가고 있어 어렵지 않게 따라갈 수 있었다. 대체적으로 책에서 다루는 내용이 실무에서 사용되는 경우는 드물다. 전문가용이 아닌 입문, 초급자 기준의 책은 기본적으로 광범위한 내용을 쉽게 접근하고 빠른 결과를 확인할 수 있게끔 구성되어 있기 때문인데 거니의 문과 감성 실용 파이썬은 초점이 잘 잡힌 책인 것 같다.

# 참고링크

anaconda prompt 관련 설정에 대한 내용. 개인적으로는 컴에 설치하기에는 좀 귀찮은 과정들이어서 해결 가능할 것 같은 과정만 정리해 두기로 했다

How to get the Anaconda prompt on macOs

How to Successfully Install Anaconda on a Mac (and Actually Get it to Work)

---

---

거니의 문과 감성 실용 파이썬

이건희 저