본문 바로가기

Node.js/node crawling

Node.js/node crawling 2020. 8. 15. 노드 크롤링 - csv에 있는 주소를 통해 puppeteer 크롤링, csv파일 작성하기 csv 파일을 읽어서 각각 페이지들을 csv에 적혀있는 주소들에 접근해서 접근한 경우 page의 .score.score_left .star_score을 가져온다 . 만약에 scroeEl가 정상적로 받아와졌다면 태그의 값을 textContent로 가져온다 const parse = require("csv-parse/lib/sync"); const fs = require("fs"); const puppeteer = require("puppeteer"); const csv = fs.readFileSync("./csv/data.csv"); //parse 메서드 -> 2차원배열화 const records = parse(csv.toString()); // console.log(records); const crawle..
Node.js/node crawling 2020. 8. 15. 노드 크롤링 - puppeteer 사용해보기 https://github.com/puppeteer/puppeteer puppeteer/puppeteer Headless Chrome Node.js API. Contribute to puppeteer/puppeteer development by creating an account on GitHub. github.com puppeteer은 Chromium을 제어해주는 라이브러리로써 Node에서 크롤링을 할때 많이 활용한다. const puppeteer = require("puppeteer"); const crawler = async () => { //브라우저를 띄우고 const browser = await puppeteer.launch({headless: false}); // 페이지를 띄우고 const p..
Node.js/node crawling 2020. 8. 15. 노드 크롤링 - 네이버 영화 크롤링하기, 엑셀에 작성하기 해당 엑셀파일의 주소를 통해 요청을 보내고 있다. 먼저 네티즌 평점쪽을 가져오려고 한다. cheerio를 활용해 제이쿼리형식을 활용해서 html 데이터를 가져올 수 있다.. Promise.all을 활용해 전부 비동기 요청을 보내고 받아온다. const xlsx = require("xlsx"); const axios = require('axios'); const cheerio = require('cheerio'); // html 파싱 const workbook = xlsx.readFile("./xlsx/data.xlsx"); const ws = workbook.Sheets.영화목록; const records = xlsx.utils.sheet_to_json(ws); for(const [i, r] of rec..
Node.js/node crawling 2020. 8. 15. 노드 크롤링 - csv 파일, 엑셀파일(xlsx) 파싱하기 (https://www.inflearn.com/course/%ED%81%AC%EB%A1%A4%EB%A7%81#description 를 참고하여 정리하는 영상입니다.) 노드 크롤링을 통해 csv, xlsx 파싱을 진행해 보려 한다. npm i csv-parse CSV 파일 파싱하기 csvParinsg.js const parse = require("csv-parse/lib/sync"); const fs = require("fs"); const csv = fs.readFileSync("./csv/data.csv"); console.log(csv.toString()); //parse 메서드 -> 2차원배열화 const records = parse(csv.toString()); console.log(records..
Node.js/node crawling 2020. 5. 16. puppeteer을 활용해서 스크린샷 찍기, 크롤링하기, pdf 생성하기 https://github.com/puppeteer/puppeteer puppeteer/puppeteer Headless Chrome Node.js API. Contribute to puppeteer/puppeteer development by creating an account on GitHub. github.com 폴더에 npm init을 통해 패키지를 생성해준다. 그후 npm i puppeteer 을 실행하면 다운이 완료된다 스크린샷 찍기 const puppeteer = require('puppeteer'); const main = async() => { const browser = await puppeteer.launch(); const page = await browser.newPage(); /..

티스토리툴바