셀레니움

페이지 정보

profile_image
작성자제이슨 조회 0회 작성일 2021-06-18 19:44:44 댓글 0

본문

파이썬 셀레니움 이미지 크롤링으로 배우는 업무 자동화의 기초

이번 영상은 파이썬으로 셀레니움(selenium)을 활용하여 구글에서 이미지 크롤링을 하는 방법을 알려드립니다. 단순한 이미지 크롤링이 아닌 응용하면 웹 브라우저로 할 수 있는 모든 업무를 다 자동화 할 수 있습니다.
파이썬 가상환경 생성부터 크롬 브라우저 드라이버 다운로드 등 기초 세팅 과정부터 차근차근 알려드립니다. 직접 실습해보시고 다른 업무 자동화에 응용해보세요!
사람이 브라우저를 통해서 확인하는 것과 같은 방식이여서 이전 영상처럼 업데이트가 되어도 막히지 않고 계속 응용하여 활용하실 수 있습니다.

파이썬 및 코드 에디터가 설치가 안되신 분들은 이전 파이썬 강의 1강을 참고해주세요!


완성된 코드
https://github.com/youtube-jocoding/python-selenium-google-image-crawling/blob/master/google.py

이미지를 다운로드 하실때 나무위키 등 특정 사이트의 경우 봇이 접근하는 것을 차단해서 urllib.request.urlretrieve(imgUrl, "test.jpg") 줄에서\r urllib.error.HTTPError: HTTP Error 403: Forbidden가 뜨실 수 있습니다. 그럴때는 아래와 같이 브라우저 인것 처럼 속이는 header를 추가하시면 정상적으로 크롤링 할 수 있습니다!

opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]
urllib.request.install_opener(opener)
urllib.request.urlretrieve(imgUrl, "test.jpg")

#파이썬 #크롤링 #셀레니움

00:00 하이라이트
00:20 인트로
00:29 수업 소개
01:00 셀레니움의 개념
1:56 목차
2:15 파이썬 가상 환경 세팅
4:59 Selenium 설치 및 브라우저 세팅
6:31 구글 이미지 크롤링 코드 작성
31:22 셀레니움 네이버 실시간 검색어 크롤링 방법 소개
31:49 아웃트로
배성우 : python -m venv selenium 으로 가상환경 생성을 하려고 하는데 터미널에다가 이렇게 입력을 하면 밑에줄에 Python이라는 글자가 찍히고 가상환경은 생성되지 않습니다... 어떡해야하나요 ? ㅠ
잼난 튜브 : 좋은 영상 감사합니다. 제가 논문을 쓰고 있는데 구글 스칼라 크롤링 하는데 계속 class를 찾지 못해서 애를 먹고 있네요. 구글 이미지 말고 검색어 관련해서도 혹시 크롤링 영상 내지 팁을 알려 주실 수 있으실까요?
박태윤 : activate 명령어가 실행하면 오류가 생기는데 어떻게 해야할까요?
ᄂᄂ : 현재 저는 Pycharm을 쓰고 있고 python 3.6버전에서 selenium을 다운받아 실행하고 있는데 selenium이 이미지를 다운받다가 중간에 멈추더군요. 오류는 안뜨고 계속 실행되면서 처음 몇개만 저장후 계속 멈춰있는데 무슨 오류인가요?
Minyoung Cho : (selenium) C:\Python\selenium>[9444:5960:0521/205957.179:ERROR:device_event_log_impl.cc(214)] [20:59:57.180] Bluetooth: bluetooth_adapter_winrt.cc:1072 Getting Default Adapter failed.
이라는 에러메시지가 뜨면서 코드가 실행이 안됩니다.

크롬드라이버 버전도 맞고, 셀레니움도 업데이트를 해봤으며, 코드에 문제가 있는건지 완성본코드로도 실행을 시도해보았습니다만 저 에러메시지가 계속 뜹니다 ㅠ
검색창에 입력할 때에 가끔씩 뜨고, 큰 이미지의 src를 가져올때 항상 나옵니다.

그 후에 아래의 오류코드도 간간히 나오더라구요.
[1080:10868:0521/210336.185:ERROR:ssl_client_socket_impl.cc(947)] handshake failed; returned -1, SSL error code 1, net_error -200

인터넷상에선 크롬드라이버&셀레니움 업데이트라던지,
options = webdriver.ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-logging'])
driver = webdriver.Chrome(options=options)
위의 코드를 기입한다던지의 해결방안들이 있었지만 도움이 되진 않았습니다.

막막해서 질문 올려봅니다

파이썬 자동화 셀레니움(selenium) webdriver와 actionchains으로 웹사이트 매크로 제작

파이썬 자동화 프로그램을 위한 selenium(셀레니움) 사용법 강의입니다.
본 영상은 셀레니움의 webdriver와 actionchains를 사용하여 구글 지메일을 자동으로 보내는 프로그램을 만드는 예제입니다.
예제를 통하여 브라우저를 열고, 원하는 문자를 입력하고, 원하는 요소를 찾아 클릭하는 등 웹페이지 매크로를 만들기 위한 셀레니움 사용법을 배웁니다.
간단한 예제지만 이 강의를 통해 거의 모든 웹사이트를 자동화하는 프로그램을 만들 수 있게 됩니다.

파이썬 셀레니움(selenium)은 웹페이지 자동화 프로그램 뿐만 아니라 크롤링에서도 사용할 수 있어 배워두면 유용한 라이브러리입니다.

셀레니움 기초 사용법 브라우저 매크로 프로그램 만들기

-
김플 스튜디오 블로그
https://kimflstudio.tistory.com
-
인디 : ㄹㅇㅋㅋㅋㅋ
로자르TV : 엣지 웹 드라이버는 아무리 찾아도 없어요 도와주세요
크룸브라우저는 다 버전이 안 맞아서입니다:)
디오 : 이런분들이 책내고 교재내고 강의해야되는데... 진심 어디 유명한데 깔짝 이삼년다니고 책쓰는 인간들땜에 ...휴 배울곳이 없네요 크롤링은... 어려워요 ㅠㅠ
Hayzel Yeom : 수동으로 열어둔 창에(이미 로그인 완료된 브라우저) selenium 을 개입시키려면 어찌하는지 조언 부탁드립니다.....!
이 경우에 URL 을 그대로 넣어주면, 깨지더라구요 ㅠㅠ
봄수정 : 원하는 요일 / 시간에 실행되도록 하는 코드좀 알 수 있을까요...?

파이썬 자동화 selenium 사용법 브라우저 매크로 프로그램 만들기

파이썬 자동화 프로그램을 위한 selenium(셀레니움) 기초 사용법 강의입니다.
본 영상에서는 셀레니움을 사용하여 브라우저를 자동으로 열고 검색어를 자동으로 입력하여 검색결과를 클릭해서 페이지를 이동하는 간단한 예제를 따라하며 자동화(매크로) 프로그램을 만들기 위한 셀레니움(selenium)의 기본적인 사용법을 익히게 됩니다.

파이썬 selenium(셀레니움)은 자동화 프로그램 뿐만아니라 크롤링 등에도 사용되기때문에 배워두면 유용하게 사용할 곳이 많은 라이브러리입니다.

-파이썬 셀레니움 강의 2탄-
파이썬 자동화 셀레니움(selenium) webdriver와 actionchains으로 웹사이트 매크로 제작

-
김플 스튜디오 블로그
https://kimflstudio.tistory.com
-
유준상 : 질문있습니다.

영상과 똑같이 코드를 짜고 실행시키려고 하면 실행이 안됩니다.
이렇게 에러 문자도 뜹니다.
ImportError: cannot import name 'webdriver' from partially initialized module 'selenium' (most likely due to a circular import) (C:\start\selenium.py)
크롬드라이버 설정도 해놓았고 selenium도 install하였습니다.
Dwaeji bullback : 크롬버전이랑 크롬드라이버버전을 같게해서 설치하고 경로맞춰서 실행했는데 켜지고나서 제가 설정한 주소로 간뒤 한 2초정도 뒤에 자꾸 종료되는데요 동영상보니 계속 켜져있는데 무슨 차이가있을까요? 저가 따로 끈다는 명령어 준것도 아니고 동일한코드써도 그러는데요
이지성 : 저 초반에 창이 열렸다가 바로 닫혀요.. 똑같이 다했는데 왜그럴까요 ㅠ
유민우 : 안녕하세요 이걸 보고 따라하던중 화면 뛰우는거 까지 됫는데 자꾸만 파이썬 입력이 안되는데 이런 오류 가 뜹니다
DevTools listening on ws://127.0.0.1:51353/devtools/browser/f7787426-8e30-4a19-a256-6006841d3050
Traceback (most recent call last):
File "c:\Users\가족\Desktop\Pyt\practice.py", line 9, in
driver.find_element_by_css_selector('.gLFyf gsfi').send_keys('파이썬')
File "C:\Python39\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 598, in find_element_by_css_selector
return self.find_element(by=By.CSS_SELECTOR, value=css_selector)
File "C:\Python39\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 976, in find_element
return self.execute(Command.FIND_ELEMENT, {
File "C:\Python39\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 321, in execute
self.error_handler.check_response(response)
File "C:\Python39\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in
check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":".gLFyf gsfi"}
(Session info: chrome=87.0.4280.66)


C:\Users\가족\Desktop\Pyt>[8040:5604:1129/221205.458:ERROR:device_event_log_impl.cc(211)] [22:12:05.459] USB: usb_device_handle_win.cc:1020 Failed to read descriptor from node connection: 시
스템에 부착된 장치가 작동하지 않습니다. (0x1F)


여기서 자꾸 USB 무슨 시스템에 부착된 장치가
작동하지 않는다고 뜨는데 그래서 usb 블루투스 동글이를 빼면

DevTools listening on ws://127.0.0.1:51520/devtools/browser/6aaa4a74-2673-4e47-b2f9-367bef19279f
Traceback (most recent call last):
File "c:\Users\가족\Desktop\Pyt\practice.py", line 9, in
driver.find_element_by_css_selector('.gLFyf gsfi').send_keys('파이썬')
File "C:\Python39\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 598, in find_element_by_css_selector
return self.find_element(by=By.CSS_SELECTOR, value=css_selector)
self.error_handler.check_response(response) d_element
File "C:\Python39\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in
check_response cute
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate echeck_responselement: {"method":"css selector","selector":".gLFyf gsfi"}
(Session info: chrome=87.0.4280.66) lement: {"method":"css selector","selector":".gLFyf gsfi"}


C:\Users\가족\Desktop\Pyt>[16732:8492:1129/222353.847:ERROR:device_event_log_impl.cc(211)] [22:23:53.846] Bluetooth: bluetooth_adapter_winrt.cc:1073 Getting Default Adapter failed.
이러한 오류가 뜹니다 무엇때문인지 알수있을까요? 부탁드립니다 ㅠㅠ
소피아 : 네이버도 가능한가요????

... 

#셀레니움

댓글목록

등록된 댓글이 없습니다.

전체 3,154건 1 페이지
게시물 검색
Copyright © www.xn--om2bn5aw00a1ngzriy1d.com. All rights reserved.  Contact : help@oxmail.xyz