Data Analysis for Investment & Control

이 포스트는 개인적으로 Python을 공부하는 과정에서 추후 리마인드를 위해 작성합니다. 이번 글에서는 평소부터 관심 있었던 웹 크롤링Web Crawling이라는 주제를 가지고 Python을 이용하여 구현해 보는 것을 다루어 보는데, 그 과정에서 필요한 몇 가지 라이브러리를 소개하고자 한다. 구글링을 통해 Python 웹 크롤링이라는 것을 검색해 보면 나오는 라이브러리가 BeautifulSoup과 Scrapy라는 것이 있다. Scrapy에 대해서는 나중에 기회가 되면 따로 다루기로 하고, BeautifulSoup이라는 것은 웹 페이지의 Html 포맷 문서를 처리하기 쉽게 전처리 해주는 라이브러리라고 알려져 있는데 이를 이용해 특정 웹 사이트의 웹 문서를 얻어오는 것을 다루어 보고자 한다. 우선 PIP를 ..

이 포스트는 개인적으로 Python을 공부하는 과정에서 추후 리마인드를 위해 작성합니다. 지난 글(Python 개발환경 설정)에 이어 Python을 개발하기 위한 환경을 설정하는 작업을 해보자. 지난 시간에 한대로 Python을 설치하면 기본적으로 Python 명령 코드를 실행하기 위한 콘솔 창과 기본적인 에디트 환경(IDLE)을 제공하지만 본격적으로 프로그래밍을 하기에는 많이 부족해 보인다. 그래서 보통 다른 통합 개발 환경을 많이들 사용하는데, 대표적으로 이클립스Eclipse를 설치하고 Python 개발에 맞춰서 세팅을 한다. 여기서는 PyCharm이라는 Python을 위한 전용의 프로젝트 레벨의 프로그래밍 에디터를 설정하는 법을 기록해 둔다. 우선 다운로드는 다음의 링크를 통해 받는다 : https..

이 포스트는 개인적으로 Python을 공부하는 과정에서 추후 리마인드를 위해 작성합니다. 사실 Python을 처음 접했을 때를 떠올려보자면 2007년도 석사 1년차에 AI 수업을 들었을 때 Python을 이용한 과제 제출이 있었기 때문이다. 당시 교수님은 버클리 공대에 일년 정도 가게시면서 제어 공학의 트렌드가 AI 쪽으로 흘러가고 있다라는 걸 인지하시고 학교로 돌아와 비선형 제어에서 인공지능 쪽으로 선회하셨는데, 그 당시에는 Python이라는게 그저 학교에서 장난처럼 가볍게 느껴져서 이렇게 까지 활용도가 높아질 거라곤 생각하지 못했다. (그러니 내 통찰력이 그 정도 수준인 거지.ㅋㅋ) 원래부터 인공지능에는 관심이 있었지만 익숙해 지는 속도가 너무 느려 금방 흥미를 잃었는데, 지금 생각하면 그 때 꾸준히..