외장뇌모리

https://stackoverflow.com/questions/65080685/usb-usb-device-handle-win-cc1020-failed-to-read-descriptor-from-node-connectio/65134639#65134639 USB: usb_device_handle_win.cc:1020 Failed to read descriptor from node connection error with ChromeDriver v87 / Chrome v87 using We recently upgraded our Windows 10 test environment with ChromeDriver v87.0.4280.20 and Chrome v87.0.4280.66 (Official Build) ..

Requests http 통신 지원 모듈 BeautifulSoup HTML, XML로부터 특정 데이터를 접근하기 위해 HTML 태그들의 구성을 트리 형태로 만들고 접근 가능하게 해주는 라이브러리 장점 : 파싱 및 크롤링 속도가 빠름 단점 : javascript와 같이 비동기 처리된 데이터들 처리에 에로사항이 꽃핌 Selenium Web App을 테스트할 때 주로 사용하는 프레임워크 (Web 동작 자동화 라이브러리) 장점 : Web Driver를 통해서 접근하기 때문에 동적 데이터(비동기 처리된 데이터)까지 모두 처리 가능 단점 : 실제 웹 브라우저와 같은 Web Driver를 사용하기 때문에, 필요없는 정보도 모두 처리되어 비교적 속도가 느리다 Scrapy 크롤링을 위해 개발된 프레임워크 newspape..

개요 python에서 웹크롤링이나 웹스크래핑을 할때 보통 requests, BeautifulSoup, Selenium, Scrapy 등을 사용한다. 최근 웹페이지는 Vue, React 등 CSR(Client Side Rendering)을 사용하는 웹front 기술이 대세이기 때문에 페이지의 script처리 또는 lazy loading되는 리소스들이 완료된 이후 페이지 요소에 접근할 수 있도록 python의 내장함수인 time.sleep()으로 일정시간 대기 후 스크래핑 하도록 처리하기도 한다. 하지만, sleep()을 사용하면 이미 페이지 요소들이 전부 loaded 되었더라도 지정된 시간동안 무조건 대기하기 때문에 반복처리되는 로직에서는 시간효율이 매우 떨어지게 된다. 이때문에 selenium에서는 We..