본문 바로가기

Node.js/node crawling

Node.js/node crawling 2020. 8. 19. 노드 크롤링 - 인스타그램 크롤링하기 먼저 facebook 크롤링을 진행을 위해 아이디를 가입했기때문에 인스타그램 또한 facebook아이디로 진행을 위해 facebook으로 로그인창을 받아서 클릭을 진행해준다. document.querySelector(".KPnG0").click(); 로그인 유지하기 userDataDir을 사용하면 로그인에 대한 정보를 기억 할 수 있다. const browser = await puppeteer.launch({ headless: false, args: ["--window-size=1920,1080", "--disable-notifications"], userDataDir: 'C:\Users\dhsdb\AppData\Local\Google\Chrome\User Data' }); 로그인 여부 판단하기 로그인이..
Node.js/node crawling 2020. 8. 17. 노드 크롤링 - 페이스북 이미지 가져오기, 좋아요 구현하기, DB 저장 https://loy124.tistory.com/290 노드 크롤링 - 페이스북 로그인, 로그아웃 하기 const puppeteer = require("puppeteer"); const crawler = async() => { try{ const browser = await puppeteer.launch({headless: false, args:['--window-size=1920,1080']}); const page = await browser.newP.. loy124.tistory.com 윗 글에 이어서 진행한다. 첫 피드 가져오기 ^=로 진행하면 id가 hyperfeed_story로 시작되는 값 $=로 진행하면 id가 hyperfeed_story로 끝나는 값 *=로 진행하면 hyperfeed+sto..
Node.js/node crawling 2020. 8. 16. 노드 크롤링 - 페이스북 로그인, 로그아웃 하기 const puppeteer = require("puppeteer"); const crawler = async() => { try{ const browser = await puppeteer.launch({headless: false, args:['--window-size=1920,1080']}); const page = await browser.newPage(); await page.setViewport({ width:1920, height:1080 }) await page.goto('https://facebook.com'); await page.evaluate(() => { document.querySelector("#email").value = "이메일" document.querySelector("#..
Node.js/node crawling 2020. 8. 16. 노드 크롤링 - 인피니티 스크롤 사이트(unsplash) 크롤링하기 인피니티 스크롤 사이트를 크롤링하기 해당 사이트는 React로 제작된 사이트로써 일반적인 axios와 cheerio 조합으로는 크롤링하기 힘들다. 먼저 크롤링해서 가져올 파트를 정한다 evaluate 안에서 nDTlD 클래스 안의 img 태그를 가져오는 방식으로 진행한다. 정상적으로 이미지 태그가 불러와지는걸 크롬내 콘솔창으로 확인 후 크롤링 코드에 적용 시켜준다. 해당 태그를 querySelectorAll로 받아와서 imgEls이 존재할때 img src를 imgs의 배열을 넣어주는 코드를 적용한다. const puppeteer = require("puppeteer"); const axios = require("axios"); const fs = require("fs"); const crawler = a..
Node.js/node crawling 2020. 8. 16. 노드 크롤링 - 브라우저 사이즈 조절 및 스크린샷 찍기 args 옵션을 통해 브라우저의 크기를 정해줄 수 있다. const browser = await puppeteer.launch({ headless: false, args: ["--window-size=1920,1080"], }); setViewport 메서드를 통해 브라우저에서 불러오는 페이지의 크기를 정해줄 수 있다. const page = await browser.newPage(); page.setViewport({ width: 1920, height: 1080, }); 스크린샷을 찍을때 fullPage를 활용하면 전체 화면(스크롤포함)까지 스크린샷을 찍어준다. clip을 활용하면 원하는 크기대로 스크린샷을 찍어 올 수 있다. await page.screenshot({ path: `screenshot..
Node.js/node crawling 2020. 8. 16. 노드 크롤링 - axios를 활용해서 이미지를 다운로드 하기 디렉토리를 읽고 없을경우 디렉토리를 생성해주는 코드 fs.readdir('screenshot', (err) => { if(err){ console.error("screenshot 폴더가 없어 screenshot 폴더를 생성합니다 ") fs.mkdirSync("screenshot"); } }); sync 메소드는 프로그램의 처음과 끝에만 쓰는건 가능하다(그외는 blocking등이 일어나 성능에 영향을 미친다) const xlsx = require("xlsx"); const puppeteer = require("puppeteer"); const axios = require("axios"); const fs = require("fs"); const add_to_sheet = require("./add_to_s..
Node.js/node crawling 2020. 8. 16. 노드 크롤링 - userAgent와 한탭으로 크롤링 userAgent는 현재 사용하고있는 브라우저의 정보를 나타낸다. const parse = require("csv-parse/lib/sync"); const fs = require("fs"); const stringify = require("csv-stringify/lib/sync"); const puppeteer = require("puppeteer"); console.log(__dirname); const csv = fs.readFileSync(__dirname + "/csv/data.csv"); //parse 메서드 -> 2차원배열화 const records = parse(csv.toString()); // console.log(records); const crawler = async () => {..
Node.js/node crawling 2020. 8. 15. 노드 크롤링 - puppeteer의 다양한 기능들 https://try-puppeteer.appspot.com/ Try Puppeteer try-puppeteer.appspot.com puppeteer은 다양한 기능들을 지원한다(스크린샷, pdf, proxy 등등..) 위 사이트를 방문해서 활용해보면 다양한 puppeteer의 기능들을 활용해 볼 수 있다. 크롤링 뿐만아니라 추가적인 많은 기능을 지원해줘서 굉장히 유용한 라이브러리라고 생각이 된다.

티스토리툴바