[AI 서비스 개발] 가상환경 생성

다른 프로젝트와 격리하고, 파이썬 및 라이브러리 특정 버전 사용을 위해 가상 환경을 생성하여 프로젝트를 진행하고자 한다.

 

1. 준비: anaconda3 설치 : https://www.anaconda.com/download/success

- anaconda prompt 또는 vscode 터미널 창 준비

 

2. 생성(llm은 대신 다른 이름으로 저장 가능)

conda create -n llm python=3.8

 

3. 확인

conda env list

4. (참고) 삭제

conda env remove -n llm

5. 실행

activate llm

 

6. vs code에서 주피터 노트북 사용

- 상단 바에서 검색 시 >입력 후 검색(예. >>python: Select Interpreter)

 

7. 해당 가상관경에 필요한 라이브러리 설치

* 터미널에 입력시 pip install 라이브러리명, 주피터노트북 또는 python 파일에 입력시 !pip install 라이브러리명

!pip install langchain
!pip install langchain-community
!pip install langchain-openai
!pip install openai
!pip install streamlit

!pip install tiktoken # openAI에서 제공하는 임베딩
!pip install faiss-cpu # 페이스북 라이브러리, 벡터의 검색을 위한 인덱싱 및 검색 알고리즘
!pip install faiss-gpu # 사용하는 컴퓨터가 GPU를 지원 할 경우
!pip install sentence-transformers # 자연어처리에서 문장 도는 단락을 벡터로 변환하기 위해 사용
!pip install wikipedia # 위키피디아
!pip install numexpr # 연산 라이브러리

!pip install unstructured # 텍스트 파일 같은 구조화되지 않은 데이터
!pip install sentence-transformers # 문장을 벡터로 변환하고 텍스트의 의미적 유사성 계산
!pip install chromadb # 벡터를 저장하고 유사도 검색을 지원

!pip install PyPDF2 # PDF를 읽기, 분할, 병합, 순서 변경, 추가, 암호화 등
!pip install streamlit-chat # 챗봇 사용자 인터페이스를 생성하는데 사용

- 임베딩의 경우, 모델(오픈AI, HuggingFace 등)에 따라 입력값이 같아도 출력되는 숫자는 다를 수 있다.

 

※ 참고자료: 랭체인으로 LLM 기반의 AI 서비스 개발하기