외장뇌모리

Requests http 통신 지원 모듈 BeautifulSoup HTML, XML로부터 특정 데이터를 접근하기 위해 HTML 태그들의 구성을 트리 형태로 만들고 접근 가능하게 해주는 라이브러리 장점 : 파싱 및 크롤링 속도가 빠름 단점 : javascript와 같이 비동기 처리된 데이터들 처리에 에로사항이 꽃핌 Selenium Web App을 테스트할 때 주로 사용하는 프레임워크 (Web 동작 자동화 라이브러리) 장점 : Web Driver를 통해서 접근하기 때문에 동적 데이터(비동기 처리된 데이터)까지 모두 처리 가능 단점 : 실제 웹 브라우저와 같은 Web Driver를 사용하기 때문에, 필요없는 정보도 모두 처리되어 비교적 속도가 느리다 Scrapy 크롤링을 위해 개발된 프레임워크 newspape..

요리에 있어 튀김과 무침은 필수다. 계란 후라이를 해먹든, 샐러드를 해먹든. 그래서, 식용유를 사러 들어갔는데 무슨 이 기름은 이래서 나쁘고, 저 기름은 저래서 나쁘고, 발연점이 어쩌고 산도가 저쩌고 오메가산, 불포화지방산이 어쩌고저쩌고... 아... 머리아포... 콩기름, 해바라기씨유, 포도씨유, 카놀라유, 현미유.. 등등등 명절 선물세트에서나 보던 각종 기름 종류가 너무 많다. 옛날엔 엄마가 그냥 식용유 사오라면 가면 해표~해표 식.용.유~ 밖에 없었던것 같은데 ;; 어쨌든 좀 검색을 하다보니 아래와 같이 정리가 되었다. 1. 무침 : 발연점이 낮지만 건강에 좋은 올리브유 2. 튀김 : 발연점이 높으면서도 건강에 괜찮은 아보카도유 뭐... 그렇다고 한다. 단점은 둘다 좋은 제품은 가격이 비싸다. 이왕..

개요 python에서 웹크롤링이나 웹스크래핑을 할때 보통 requests, BeautifulSoup, Selenium, Scrapy 등을 사용한다. 최근 웹페이지는 Vue, React 등 CSR(Client Side Rendering)을 사용하는 웹front 기술이 대세이기 때문에 페이지의 script처리 또는 lazy loading되는 리소스들이 완료된 이후 페이지 요소에 접근할 수 있도록 python의 내장함수인 time.sleep()으로 일정시간 대기 후 스크래핑 하도록 처리하기도 한다. 하지만, sleep()을 사용하면 이미 페이지 요소들이 전부 loaded 되었더라도 지정된 시간동안 무조건 대기하기 때문에 반복처리되는 로직에서는 시간효율이 매우 떨어지게 된다. 이때문에 selenium에서는 We..

[환경 : vscode 1.63.2 x64] VSCode에 일반적으로 사용되는 정적코드 분석도구인 Pylint를 사용할때 필요 이상의 경고 메시지로 불편할 때가 있다. 경고가 정말 불필요하다고 생각되는 경우 Pylint의 설정값을 변경하여 해당 경고를 disabled 시킬 수 있다. 예를들어 "String statement has no effect [pylint(pointless-string-statement)]" 의 경우 아래 링크에서 해당 코드인 pointless-string-statement의 symbol인 W0105를 확인하고 Basic checker Messages VSCode의 설정에 아래와 같이 Pylint Args를 추가해주면 된다 VSCode의 설정파일인 settings.json에서 아래..