개발일지 썸네일형 리스트형 네이버 검색어 세션 순서 크롤링 프로그램 개발일지 안녕하세요 오늘은 네이버 세션 순서를 크롤링하는 프로그램을 개발해볼려고합니다 바로 시작! 1. 세션순서란 네이버에 컴퓨터 추천 이라는 검색어로 검색했을때 결과입니다 컴퓨터 추천검색어는 VIEW -> 네이버 쇼핑 -> 지식iN -> 플레이스 -> 네이버 책 -> 이미지 순으로 세션이 표시가 됩니다 우리는 이걸 지식인 이나 VIEW세션이 최상단(맨 위)에 올라와 있는 키워드를 찾아 저장하는 프로그램을 제작해보도록 하겠습니다 2. 작업환경 설정 지금까지 selenium을 사용해 왔습니다 셀레늄을 사용한 가장 큰 이유는 사이트에 과부화를 주지 않으면서 서버가 요구하는 값들을 정상적으로 출력하기 위함입니다 이번에는 requests를 이용해보고 requests가 되지 않으면 셀레늄으로 개발하는 방식으로 하겠습니다 .. 더보기 인스타그램 자동 좋아요 프로그램 개발일지 안녕하세요 이번에는 인스타그램의 게시글을 자동으로 좋아요를 눌러주는 프로그램을 개발해보겠습니다 1. 인스타그램 접속 인스타그램 접속이나 로그인 등은 어제 포스팅했던 코드를 사용했습니다 어제 포스팅했던 인스타그램 크롤러를 확인해보세요! 이번에는 어제 포스팅했던 크롤러에 대한 코드 해석과 함께 설명하겠습니다 주요 부분만 설명을 하고 넘어가도록 하겠습니다 driver = webdriver.Chrome('chromedriver') driver.get('https://www.instagram.com/') 드라이버를 생성하고 get으로 주소이동을 하는 겁니다 주소이동을 하면서 기본적으로 페이지에 로딩을 마치고 return이 되지만 지연 로딩이라 하여 추가로 로딩되는 것들이 있으니 주의하시길 바랍니다 vid = '아.. 더보기 인스타그램 좋아요 해시태그 크롤러 개발일지 안녕하세요 오늘은 인스타그램에서 좋아요와 해시태그를 크롤링해볼 겁니다. 매일 1일 1 개발하다 보니 힘드네요 암튼 시작! 1. 인스타그램 접속 셀레늄을 사용해서 제작해볼 겁니다 이번에는 제작한 프로그램의 코드를 공유해볼까 합니다 인스타그램에 접속해서 바로 html 코드를 분석해봅니다 셀레늄 이용방법에서 확인가능합니다 로그인을 하기 위해 아이디와 비밀번호 html코드를 분석해줍니다 driver.find_element_by_name('username').send_keys(vid) driver.find_element_by_name('password').send_keys(vpw) driver.find_element_by_xpath('//*[@id="loginForm"]/div/div[3]/button').cli.. 더보기 티스토리 쿠파스 자동 글쓰기 - 오쿠파스 개발일지 안녕하세요 오늘부터는 조금 특별한 걸 해볼까 합니다 쿠팡 파트너스를 이용해서 수익을 내볼 겁니다 제가 제작할 프로그램은 오쿠 파스라 명했습니다 제작된 프로그램을 여러분께 공개될 예정입니다 그러면 시작. 1. 쿠팡 파트너스 제품 찾기 먼저 쿠팡 파트너스의 제품을 가져오도록 할 겁니다. 파이썬과 셀레늄, beautifulsoup를 이용할 겁니다. keyword = '우유' driver.get('https://www.coupang.com/np/search?q='+keyword+'&brand=&offerCondition=&filter=&availableDeliveryFilter=&filterType=rocket_wow%2Ccoupang_global&isPriceRange=false&priceRange=&minP.. 더보기 페이스북 자동 친구추가 프로그램 개발일지 [주문제작] 2020년 12월 20일 시작 네이버 블로그를 시작하고 블로그에서 처음으로 맡은 주문제작이다 오늘은 페이스북에서 자동 친구 추가하는 프로그램을 개발해보겠다 로그인이 필요하니 편리함을 위해 셀레늄과 조건을 맞추기 위해 beautifulsoup를 사용한다 친구 추가는 한국사람 추가한다 친구신청이 한도에 제한될 경우 신청한 지 1일이 지난 신청은 취소한다 로그인을 여러계정으로 할 수 있도록 한다 이번에는 로그인 과정은 생략하도록 하겠다 로그인 과정은 저번 네이버 관련 포스팅과 같으니 참고하면 좋을 듯하다 네이버 지식인 자동 답변 개발일지 더보기 네이버 서로이웃 자동 추가 프로그램 개발일지 2020년 12월 19일 시작 블로그에 글을 작성하니 블로그 활성화가 눈에 들어오기 시작했다 활성화 방법 중 하나 일 것 같은 서로 이웃부터 시작하기로 했다 (내 생각이다) 일단은 이것도 마찬가지로 네이버에 로그인을 해야 하니 셀레늄을 사용하고 로그인 코드는 이전 포스팅(아래 링크)에서 확인할 수 있다 로그인을 한 후 블로그 홈으로 접속해보자 여기에서 블로그들의 아이디를 가져와 서로 이웃을 추가해보도록 하겠다 일단은 일상. 생각을 주제로 포스팅을 하는 블로거를 선택했다 마찬가지로 셀레늄과 beautifulsoup를 이용하여 블로거 아이디를 크롤링해보겠다 크롤링하기 전 html 코드를 분석한다 이번에는 list형식이 아닌 div형식으로 되어있다 일단은 list_post_article의 클래스 명을 선택해보.. 더보기 네이버 지식인 질문 자동 답변 프로그램 개발일지 2020년 12월 15일 시작 지식인 질문 프로그램을 제작 도중 일단은 질문에 답을 하는 프로그램을 제작해보기로 했다 일단 생각한 로직은 키워드로 검색 후 검색된 제목을 찾아 제목에 특정 단어가 들어가거나 내용에 들어가면 질문에 답을 하는 것이다 로그인 -> 지식인 키워드 검색 -> 제목, 내용 인식 -> 답변 간단해 보이는 작업이다 한번 빠르게 시작해보도록 한다 일단은 모든 작업을 하기 위해 작업 환경을 결정해야 하는데 파이썬을 사용하고 selenium을 사용하기로 하였다 selenium 같은 경우에는 설정만 잘해준다면 실제 사용자와 동작이 매우 유사하기 때문이다 1. 로그인 전에 사용했던 로그인을 사용해보자 driver.get('https://nid.naver.com/nidlogin.l.. 더보기 네이버 지식인 질문 크롤러 개발일지 2020년 12월 08일 시작 쿠파스를 사용하기 위해 파이프라인을 알아보던 중 네이버 지식인을 선택하게 되었다 생각한 것은 질문이 올라오면 지정된 홍보문구로 답변을 하는 것. 하지만 질문이 생각보다 많이 올라오지 않았다 그래서 생각했다, 여태 올라온 질문은 크롤링해 내가 질문을 하면 되지 않을까? 2020년 12월 08일 시작합니다 2020년 12월 09일 네이버 지식인에 들어가서 질문을 크롤링하려고 한다. 지식인에 접속한 후 카페에서 많이 접했던 '노트북'키워드로 검색하여 검색 결과를 가져올 것이다. 크롤링하여 2777줄에 해당하는 정보를 얻을 수 있었다 홀수는 질문 제목, 짝수는 질문내용이니 질문의 개수는 1388개이다 마지막 한 줄은 개행 문자(\n)이다 얻은 질문들을 살펴보니 중복된 글이 많아 지.. 더보기 이전 1 다음
