Python

20.06.17 뷰티풀 슾으로 웹크롤링 + selenium으로도 해봄

우롱차 2020. 8. 29. 11:54
728x90

네이버 영화 평점댓글 페이지랑 나머지 두개임

: 이 이유는 에이잭스를 써서

저 영화 평점 페이지로 가고싶으면 앵커 태그를타고 들어가서 새창 뜨는거에서 url복사

평점 댓글 페이지 나머지 외부 페이지 (평점쓰는 곳은 쉽게 생각하면 그림이라고 생각하면 됌)

아예 다른 페이지로 가서 디자인을 한다음에 그 저 그림을 그대로 영화 페이지에 붙임.

저기 누르면 에이 앵커가 있고 댓글창이 새로 뜸

:이런 이유는 에이잭스를 썼기 때문에

 

에이잭스는 내가 원하는 특정 부분만 바꿀 수 있음

쓰는 이유는 다른데가 너무 많고 처음부터 끝까지 다바궈야하는게 비효율적이라서


에러많이 띄워도 기죽지마

 

ERROR <- stack overflow

그리고 구글링

여기에 에러 뜬거 검색하면 다나와 단지 영어

저기에 없는 에러는 없어 다있어 그냥

 

에러가 왜났는지도 잘 찾아서 봐야함 수학 오답노트 쓴 것 처럼.

 

첫회사를 잡는 것도 중요함

예를들어 은행에 첨에갓어 그럼계속 은행감

 

gls ->선박지도..지리정보시스템감

이쪽가면 또 계속 지도로감

 

ERP 전사적 자원관리 시스템

hr 휴먼리소스 가면 또 노동법 공부하고


다음페이지는 아예 안나와서 값이 없으면 멈춰라 해서 가능했는데

네이버 페이지는 같은 게 나옴 3페이지로 가도

근데 내용은 같은내용을 다 적을수도 잇어서 내용으로 x

평점도 엄청 중복가능

작성일자도 중복 가능

작성자로 비교 하면 됌 작성자는 다다를 수밖에 없음. 네이버랑 다음은

그래서 첫번째것만 보면 됌


compare_writer = ' '

i = 0

writer = '리치' >> compare_writer = '리치'

 

2페이지의 0번지

 

compare_writer = ' '

i = 0 값이 다르니까 if문 안타고 else문 탐

writer = 'ksij****' >> compare_writer = 'ksji****'

 

3페이지의 0 번지

compare_writer = ' '

i = 0 로 들어왔는데 wrter랑 컴패어 값이 같아서 if문을 탔음

writer = 'ksij****' >> compare_writer = 'ksji****'


break 명령문중에 가장 가까운 for문을 빠져나가라고 하는 명령어가 있는데

자바는 잇는데 파이썬은 없어서 코드를 추가해야지 그래서 breakpoint 변수 선언 및 초기화


단축키로 파일 이동하는 방법

절대 주소는 이 파일의 c드라이브부터 쭉 들어가있는거를 아예 맨 위에 조상부터 찾아가는거고 아예 맨위에 대빵부터

개발할때는 상대주소를 써야하고 절대주소 쓰먼 안댐

왜 안되냐? 절대주소는 내꺼주소지 다른 사용자들은 내꺼주소로 안따라가니까무조건 경로가 같아야지 실행이 되는거니까 상대주소로 많이 씀.

 

내 파일 기준으로 찾아가는 상대 주소 나의 위치로 찾아가는게 상대주소

. . 상위로 이동

. 현재 (현재 내가 위치한 곳에서 내가있는 기준으로)

/ 하위로 이동

 

ex )  .. 했으니까 내파일에서 뒤로가서 폴더목록으로 나가고 그다음에 /해서 webdriver로 가라햇으니까 webdriver로 들어감 그다음에 /또 나왔으니가 chromedriver.exe 로 들어가게 된거.

../webdriver/chromedriver.exe

아가에있었으면 아가에 있었다가 어머니로가고 또../니가 할아버지 폴더로 감

../../

 

selenium 크롬드라이버

크롬이 자동화된 테스트 소프트웨어에 의해 제어되고 있습니다.

셀레니움은 원래 웹브라우저 테스트용 도구였는데

테스트하던 프로그램을 개량한거.


(*) 이면 앞에 아무거나 상관없고 id가 react-root를 찾아서 섹션태그에서 메인태그로 갔어 메인에서 디 >>>>

먼저 외부모듈 읽을 거 만들어 준후 유알엘 호출

728x90

'Python' 카테고리의 다른 글

06.19 시험보고 선생님이 대충 말해준 부분  (0) 2020.08.29
20.06.18 mongodb 클래스생성하고 저장하는 부분  (0) 2020.08.29
20.06.16 (파이참으로 웹 크롤링하기)  (0) 2020.08.29
20.06.12  (0) 2020.08.29
20.06.30  (0) 2020.08.29