[파이썬] 멀티스레드 사용 이후 크롤링 시간 비교

1-2달전 저는 어느 사이트에서 이미지를 모두 긁어오는 크롤러를 만들었습니다.

약 10개의 페이지에서 모든 이미지를 긁어오는 크롤러 입니다.(github에 있음)

그 이후 그 속도를 높이기위해 멀티스레드를 사용하였습니다.

그결과 여러 환경적 요인에따라(메모리,cpu 사용률,인터넷 속도 등) 차이는 있겠지만

1분 27초 --> 20초 정도로 약 67초가랑 매우 유효한 결과를 얻었습니다.

**결론 : 크롤러 제작시 스레드를 사용할 수 있는 부분이 있으면 사용하자, 유효한 결과를 얻을 수 있다.