용감해지고 싶은 쫄보의 도전기

1. 오차와 편향오차(Error)편향(Bias)관측값(실제값)과 모델 예측값의 차이모델 예측값이 체계적으로 실제값보다 특정 방향으로 치우쳐 있는 정도 개별 예측 결과에서 발생하는 불규칙한 차이 노이즈에 의해 발생하는 경우가 많다샘플을 많이 늘려도 사라지지 않는 체계적인 오차 경향모델이 일관되게 결과를 높게/낮게 추정하는 경향모델의 가정이나 구조, 알고리즘 특성, 학습 과정 등으로 인해 생기는 시스템적인 오차모델 성능을 정량적으로 평가(MSE, MAE 등)할 때 사용모델 튜닝 과정에서 특정 하이퍼파라미터 설정 시 모델이 얼마나 정확한 결과를 내는지 비교할 때 활용모델이 전반적으로 한쪽 방향으로 치우쳐예측하는 경향이 있는지 살펴볼 때 사용 2. 편향과 분산 : 트레이드오프 관계(최적의 복잡도를 갖는 모델을 ..

프로그래머스 SQL 고득점 kit 12일차( GROUP BY 1문제, JOIN 7문제 ) 1. ON에 AND 사용 가능-  여러 조건을 동시에 만족해야 하는 경우 사용(필요하지 않은 데이터 배제)- ON에 있는 경우, 조건이 두 테이블의 연결 기준으로 작용, WHERE에 있는 경우 모든 데이터를 연결한 후 필터링 2. 특정기간동안 대여 가능한 자동차들의 대여 비용 구하기- 2022-11-01에서 2022-11-30 동안 대여 가능한 차량 조회- 1번의 경우 중복이 발생할 수 있다. 합집합이 아닌 교집합인 2번 방법을 사용# 1번(START_DATE BETWEEN '2022-01-01' AND '2022-11-30')OR (END_DATE BETWEEN '2022-01-01' AND '2022-11-30'..

1. 호스팅 - 무료: 도커허브 https://hub.docker.com/- 유료: AWS ECR  2. create a Repository (이미지 보관 폴더) 선택 3. public은 무료! 누구나 다운 받을 수 있음 ※ 주의 : 민감한 정보 들어있는 것들은 private 4. Docker Desktop의 터미널- 기존 이미지 이름 => dockerhub닉네임/이미지이름:태그로 변경 => push- 이미지 이름이 repository랑 같아야 해서 이름 변경해줘야 함- 업로드 안되면 docker login하고 진행docker tag 이미지이름:태그명 dockerhub닉네임/이미지이름:태그docker push  dockerhub닉네임/이미지이름:태그# 내 이미지를 다운받고 싶으면docker pull 이미..

1. 내 프로그램을 이미지로 만들고 싶으면?Dockerfile 생성 > 내용 작성 > 터미널에 docker build 1) 이미지 생성-  docker init 입력하면 자동 완성해줌(필요한것만 수정) # Dockerfile# 1. 어떤 OS / 프로그램 쓸건지:버전  => Docker hub에서 찾기FROM node:20-slim# 2. 어떤 프로그램 설치할건지##복사하기 싫은 파일은 .dockerignore파일 만들고, 폴더 경로 기재## 현재 작업 경로 설정 및 설치 파일 복사WORKDIR /폴더명COPY 내_컴퓨터_파일경로 이미지_내부_파일_경로RUN ["npm", "install"]# 3. 포트 번호 기재EXPOSE 8080# 유저 권한 낮추는게 좋음# 4. 파일 실행 명령어CMD ["node"..

프로그래머스 SQL 고득점 kit 11일차( GROUP BY 1문제) 1. JOIN 시 ON 조건에 비트연산(&)을 활용하면 특정 조건에서 하나라도 포함하는 조건의 열을 가져올 수 있다.SELECT D.EMAIL, BIN(D.SKILL_CODE) AS SKILL_CODE, C.NAME, BIN(C.CODE) AS CODEFROM DEVELOPERS DLEFT JOIN SKILLCODES CON (D.SKILL_CODE & C.CODE) != 0- 출력 결과EMAILSKILL_CODENAMECODEJERAMI_EDWARDS@GREPP.CO110010000Python100000000JERAMI_EDWARDS@GREPP.CO110010000Java10000000JERAMI_EDWARDS@GREPP.CO110..

Q. 엔트로피(Entropy)와 Information Gain에 대해 설명해주세요. 1. 엔트로피란?- 주로 의사결정 트리나, 데이터 분석 시 데이터셋이 얼마나 정돈되어있는지, 혼란스러운지 데이터의 불확실성을 측정할 때 사용- 데이터의 불확실성을 측정하는 척도- 엔트로피가 0 : 완전 확실 → 완벽하게 분류된 상태 (모델의 분류가 명확)- 엔트로피가 항상 낮은 상태를 목표로 하면 과적합의 문제가 발생할 수 있다.- 확률이 균등하게 분포된다 → 엔트로피가 높다 2. 정보이득이란?- 주로 의사결정 트리, 랜덤 포레스트에서 사용됨- 특정 속성을 기준으로 데이터를 분할 했을 때 엔트로피가 얼마나 감소했는지를 측정- 분할 후 분류가 명확할수록(엔트로피가 감소할 수록) 정보 이득이 크다- 의사결정 트리에서 분할 기..

1. 진행 순서- PDF를 참고해서 답변하는 chatbot을 만들고 싶은데, 답별할 때 해당 정보가 있는 page 번호를 알려줬으면 했다.- 원래 페이지 번호를 정상적으로 가져오는 경우도 있지만, 나의 경우에는 에러가 나서 따로 페이지번호를 추가해줬다.PDF 파일 로드 > 페이지 번호 추가(메타데이터) > 텍스트 분할 (문장) > 임베딩 > 벡터 데이터베이스 저장/로드 > 검색 쿼리 및 결과 출력 > 테스트 2. pdf 파일 로드와 페이지 번호 추가# 1. PDF 로드loader = PyPDFLoader("2021_Guidelines_Beer.pdf")documents = loader.load()# 2. 각 페이지에 페이지 번호 추가for i, doc in enumerate(documents): d..

1. BaseModel- 클라이언트가 보낸 데이터가 기대한 형식인지 검증할 때 (숫자대신 문자열이 들어왔을 때 에러 처리) 사용- 가독성을 높이고 유지보수를 쉽게 하기 위해서 사용- 데이터 변환(JSON  ↔ python 객체)을 자동 처리한다.from pydantic import BaseModelclass Item(BaseModel): name: str price: float description: str | None = None # 선택적 필드item = Item(name="Apple", price=1.2)print(item.dict()) # {'name': 'Apple', 'price': 1.2, 'description': None} 2. Field- pydantic에서 제공하는..