본문 바로가기

분류 전체보기81

Gradio 1. Gradiohttps://www.gradio.app/머신러닝 모델을 간단히 웹 애플리케이션 형태로 배포할 수 있게 해주는 파이썬 라이브러리입니다. 이를 통해 사용자는 인터랙티브 웹 인터페이스를 통해 모델을 테스트하고 공유할 수 있습니다. Gradio는 머신러닝 엔지니어, 데이터 과학자, 연구자들이 복잡한 웹 개발 지식 없이도 직관적인 UI를 생성할 수 있도록 설계되었습니다. 모델의 입력과 출력을 정의하면 Gradio가 자동으로 웹 기반 인터페이스를 생성하며, 이를 로컬에서 실행하거나 웹에 배포할 수 있습니다.  2. 가상환경 구축하기          python -m venv 가상환경이름     python -m venv venv     venv|Scripts|activate.bat 3. 패키지 확.. 2025. 1. 12.
프롬프트 엔지니어링 1. 프롬프트 엔지니어링프롬프트 엔지니어링(prompt engineering)은 인공지능 모델, 특히 자연어 처리 모델(GPT 계열 등)과의 상호작용을 최적화하는 기술입니다. 이는 모델이 주어진 작업을 더 정확하고 효과적으로 수행할 수 있도록, 입력되는 텍스트(프롬프트)를 신중하게 설계하는 과정입니다. 프롬프트 엔지니어링의 핵심은 모델이 의도한 답변을 도출하도록 텍스트를 구성하는 방식으로, 적절한 질문 형식이나 설명을 제공하여 더 나은 성과를 얻는 것을 목표로 합니다. 이 과정은 모델의 한계와 특성을 이해하고, 모델이 특정 방식으로 반응하도록 유도하는 언어적 전략을 포함합니다. 예를 들어, 더 구체적인 정보를 요청하거나, 다양한 조건을 명확히 설정하여 모델이 더 정확하고 유용한 답변을 하도록 유도하는 방.. 2025. 1. 12.
생성형 AI에 대해서 - GPT API 1. 생성형 AI 란?생성형 AI는 주어진 데이터를 학습하고 이를 바탕으로 새로운 콘텐츠를 만들어내는 인공지능 기술입니다. 예를 들어, 이런 AI는 사람처럼 글을 쓰거나 그림을 그릴 수 있습니다. 기본적으로 많은 데이터를 분석해 패턴을 배우고, 그 패턴을 사용해 새로운 것을 창작하는 것입니다. 그래서 질문에 대한 답변이나 창의적인 글쓰기, 이미지 생성 등 다양한 작업을 할 수 있도록 도와줍니다. 2. LLM과 SLM 2-1. LLM (Large Language Model)LLM은 대형 언어 모델을 의미합니다. 이 모델은 매우 큰 데이터셋을 기반으로 학습되며, 수억에서 수조 개의 파라미터를 가지고 있습니다. 주로 딥러닝 기술을 활용하며, 자연어 처리(NLP) 작업에서 뛰어난 성능을 발휘합니다. LLM은 인.. 2025. 1. 12.
예스 24, 교보문고 크롤링(mongoDB,Excel 저장) 지금까지 배운 크롤링을 사용하여 Yes24와 교보문고 웹사이트에서 책 데이터를 크롤링한 뒤, MongoDB에 저장하고 Excel 파일로 저장하는 과정을 수행하는 코드를 작성해 보았다  필요한 라이브러리 from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom bs4 import BeautifulSoupimport timefrom pymongo import MongoClient Selenium: 동적으로 생성되는 웹.. 2025. 1. 12.
셀레니움 - 요기요 리뷰 크롤링 셀레니움Selenium은 웹 애플리케이션을 자동화하기 위한 오픈 소스 툴로, 브라우저를 프로그래밍적으로 제어하여 사람처럼 웹을 탐색하거나 상호작용할 수 있게 합니다. 주로 웹 테스트 자동화와 크롤링에 사용되며, 동적인 콘텐츠나 자바스크립트 렌더링이 필요한 웹 페이지에서도 효과적으로 동작합니다. Selenium WebDriver를 사용하면 Python, Java, C# 등 다양한 프로그래밍 언어로 브라우저를 제어할 수 있으며, Chrome, Firefox, Edge 등 여러 브라우저에서 작업이 가능합니다. 이를 통해 로그인, 폼 제출, 버튼 클릭, 데이터 스크랩과 같은 작업을 자동화할 수 있습니다. 라이브러리 설치! pip install seleniumSelenium: 동적 웹 페이지 탐색과 상호작용을 위.. 2025. 1. 12.
크롤링 크롤링 크롤링(Crawling)이란 웹 크롤러(Web Crawler) 또는 스크레이퍼(Scraper)라고 불리는 프로그램이나 스크립트를 사용하여 인터넷상의 웹 페이지에서 데이터를 자동으로 수집하는 과정을 말합니다. 주로 검색 엔진이 웹사이트를 탐색하고 색인(Index)에 추가하기 위해 사용하는 기술이며, 특정 주제나 데이터를 수집해 분석하는 데에도 활용됩니다. 크롤링은 HTML, CSS, JavaScript로 구성된 웹페이지 구조를 파싱(Parsing)하여 원하는 정보를 추출하고, 이를 활용 가능한 데이터 형식으로 저장합니다. 크롤링 시에는 웹사이트의 이용 약관과 로봇 배제 표준(Robots.txt)을 준수하여 법적, 윤리적 문제를 방지해야 합니다.  robots.txt 규칙 준수대부분의 웹사이트는 ro.. 2025. 1. 12.

티스토리툴바