크롤링2 예스 24, 교보문고 크롤링(mongoDB,Excel 저장) 지금까지 배운 크롤링을 사용하여 Yes24와 교보문고 웹사이트에서 책 데이터를 크롤링한 뒤, MongoDB에 저장하고 Excel 파일로 저장하는 과정을 수행하는 코드를 작성해 보았다 필요한 라이브러리 from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom bs4 import BeautifulSoupimport timefrom pymongo import MongoClient Selenium: 동적으로 생성되는 웹.. 2025. 1. 12. 크롤링 크롤링 크롤링(Crawling)이란 웹 크롤러(Web Crawler) 또는 스크레이퍼(Scraper)라고 불리는 프로그램이나 스크립트를 사용하여 인터넷상의 웹 페이지에서 데이터를 자동으로 수집하는 과정을 말합니다. 주로 검색 엔진이 웹사이트를 탐색하고 색인(Index)에 추가하기 위해 사용하는 기술이며, 특정 주제나 데이터를 수집해 분석하는 데에도 활용됩니다. 크롤링은 HTML, CSS, JavaScript로 구성된 웹페이지 구조를 파싱(Parsing)하여 원하는 정보를 추출하고, 이를 활용 가능한 데이터 형식으로 저장합니다. 크롤링 시에는 웹사이트의 이용 약관과 로봇 배제 표준(Robots.txt)을 준수하여 법적, 윤리적 문제를 방지해야 합니다. robots.txt 규칙 준수대부분의 웹사이트는 ro.. 2025. 1. 12. 이전 1 다음
