외장뇌모리

개요 python에서 웹크롤링이나 웹스크래핑을 할때 보통 requests, BeautifulSoup, Selenium, Scrapy 등을 사용한다. 최근 웹페이지는 Vue, React 등 CSR(Client Side Rendering)을 사용하는 웹front 기술이 대세이기 때문에 페이지의 script처리 또는 lazy loading되는 리소스들이 완료된 이후 페이지 요소에 접근할 수 있도록 python의 내장함수인 time.sleep()으로 일정시간 대기 후 스크래핑 하도록 처리하기도 한다. 하지만, sleep()을 사용하면 이미 페이지 요소들이 전부 loaded 되었더라도 지정된 시간동안 무조건 대기하기 때문에 반복처리되는 로직에서는 시간효율이 매우 떨어지게 된다. 이때문에 selenium에서는 We..