실무 크롤링에 사용되는 파이썬 크롤링 라이브러리 공유합니다 :)

파이썬과 셀레니움을 이용한 브라우저 자동화를 통해 웹사이트 크롤링에 필요한 모듈입니다.

실제로 크롤링을 할때에는 상당히 번거롭고 또 반복적인 작업이 필요합니다.

단순히 웹사이트의 정보뿐 아니라, 로그인, 스크롤, 팝업제어 처럼 여러 작업을 거쳐야 크롤링이 가능한 웹사이트를 편리하게 크롤링 하기 위해서는 많은 스킬과 노하우가 필요합니다.

예를 들어, 스크롤을 올리거나 팝업창을 닫거나, iframe 을 변경하는등 각 기능을 할때마다 많은 검색과 노가다?! 가 필요했습니다.

많은 크롤링 프로그램을 만들면서 이런 귀찮고 시간 소모적인 작업들 없이 간편하게 원하는 크롤링 작업을 하기 위해서 상용 라이브러리를 제작하였습니다.

간단한 CLI 프로그램을 첨부하였고, 명령어 한 줄로 실제로 브라우저 자동화를 통해 크롤링을 해보실 수 있으니 한번 사용해 보셔도 좋을 것 같아요:)

1,347

3년 전

댓글 0

아직 댓글이 없습니다. 첫번째 댓글 작성자가 되어주세요 :)