전체 글142 Docker와 Docker Compose — 컨테이너 개념과 구성 도커(Docker)란Docker는 애플리케이션을 컨테이너(container)라는 격리된 환경에서 실행하는 도구다. "내 로컬에서는 되는데 서버에서는 안 된다" 같은 환경 불일치 문제를 없애기 위해 사용한다.애플리케이션과 그것이 필요로 하는 OS 라이브러리, 런타임, 설정을 하나의 이미지로 묶기 때문에 어디서 실행해도 동일한 환경이 보장된다.이미지(Image)와 컨테이너(Container)이미지는 실행 가능한 패키지다. OS, 런타임, 코드, 설정이 모두 포함된 읽기 전용 청사진이다.컨테이너는 이미지를 실행한 인스턴스다. 같은 이미지로 컨테이너를 여러 개 띄울 수 있고, 각 컨테이너는 독립적으로 동작한다.# 이미지 관계 비유이미지 → 클래스 (설계도)컨테이너 → 인스턴스 (실행 중인 객체)# 이미지.. 2026. 10. 28. Milvus DB — 벡터 데이터베이스 개념과 구조 벡터 데이터베이스란Milvus는 벡터 데이터베이스다. 텍스트, 이미지, 음성 같은 비정형 데이터를 고정 크기의 숫자 벡터로 변환해 저장하고, 의미적으로 유사한 데이터를 빠르게 검색하는 데 특화되어 있다.일반 RDB는 WHERE 품명 = 'FILTER' 같은 정확한 일치 검색만 가능하다. 반면 Milvus는 "이 문장과 의미가 비슷한 것을 찾아줘" 같은 유사도 기반 검색이 가능하다. CARTRIDGE FILTER와 카트리지 필터는 표현이 달라도 의미가 같기 때문에 벡터 거리가 가깝게 나온다.데이터 타입정수형INT8, INT16, INT32, INT64가 있다. 뒤의 숫자가 비트 수이고, 비트 수가 클수록 표현할 수 있는 범위가 넓다. INT8은 2^8 = 256가지로 -128127을 표현하고, INT64는.. 2026. 10. 20. 코사인 유사도 완전 정복: NumPy 행렬곱으로 BGE-M3 유사도 계산하기 BGE-M3로 임베딩한 벡터를 NumPy 행렬곱으로 코사인 유사도를 계산하는 방법을 정리한다. 쿼리 여러 개 대 데이터 여러 개의 유사도를 한 번에 계산하는 방법까지 다룬다.1. NumPy란?NumPy는 Numerical Python의 약자다. C언어로 구현되어 있어 Python 반복문보다 10~100배 빠르다. 벡터, 행렬 연산의 표준 라이브러리로 딥러닝/머신러닝 분야에서 필수적으로 사용된다. 벡터를 별도 반복문 없이 한 번에 연산할 수 있어 임베딩 작업에 필수적이다.2. 벡터 정규화를 하는 이유코사인 유사도 공식: cos(θ) = (A·B) / (|A| × |B|)벡터를 정규화하면 |A|=1, |B|=1이 된다. 분모가 1이므로 내적(dot product)이 곧 코사인 유사도가 된다. 행렬곱 한 번으.. 2026. 9. 18. BGE-M3 임베딩 완전 정복: Dense·Sparse·ColBERT 세 가지 방식 완벽 이해 BGE-M3는 BAAI(Beijing Academy of Artificial Intelligence, 베이징 인공지능 아카데미)에서 개발한 임베딩 모델이다. 하나의 모델로 Dense, Sparse, ColBERT 세 가지 방식을 동시에 지원한다는 점이 가장 큰 특징이다.1. BGE-M3 기본 사용법from FlagEmbedding import BGEM3FlagModel# 모델 로드model = BGEM3FlagModel('BAAI/bge-m3', use_fp16=True)# 'BAAI/bge-m3' : HuggingFace에서 모델 다운로드 경로# use_fp16=True : 16비트 부동소수점 사용 (메모리 절반, 속도 2배)sentences = ["안녕하세요", "반갑습니다"]embeddings =.. 2026. 9. 17. FlagEmbedding 라이브러리 버전 정리와 1.3.5 다운그레이드 가이드 FlagEmbedding은 버전 간 구조 변경이 컸던 라이브러리다. 적재 파이프라인을 만들 계획이라면 버전을 반드시 핀(pin)해두는 게 좋다. 최신 배포는 1.4.2(2026-08-24)이다.버전별 흐름버전시점핵심1.2.x~2024FlagEmbedding.BGE_M3 경로 기반의 초기 구조. device 단일 지정1.3.0~1.3.22024-10레포 전면 개편(호환성 깨짐). FlagAutoModel/FlagAutoReranker 추가, 멀티 GPU 지원, OOM 방지를 위한 동적 배치 사이징, 패딩 최적화, inference/finetune/evaluation 구조 재편1.3.42025-02버그 픽스 위주. transformers 4.48 대응, OOM 버그 수정, MPS 디바이스 수정1.3.5202.. 2026. 9. 16. pandas와 Python 문법, 설계 노트 LLM 기반 자재 중복 탐지 파이프라인을 짜면서 자주 헷갈렸던 문법과 설계 결정들을 정리한다.groupby의 dropna 옵션search_data.groupby('공통코드', dropna=False)기본값은 dropna=True다. 그룹 키가 NaN인 행은 기본적으로 제외된다. dropna=False를 명시해야 NaN 키도 하나의 그룹으로 포함된다.데이터에 공통코드가 없는 행이 섞여 있다면 기본값 상태에서는 그 행들이 조용히 사라진다. 에러도 없고 경고도 없다.groupby 결과를 딕셔너리로 바꾸는 이유groupby는 (키, DataFrame) 튜플의 이터러블을 반환한다.for code, group in search_data.groupby('공통코드'): # code → 그룹 키값 # gro.. 2026. 9. 15. 이전 1 2 3 4 ··· 24 다음