1. robots.txt 설정- robots.txt 파일을 통해 크롤러의 접근을 차단* robots.txt는 웹사이트 루트 디렉토리에 위치하는 텍스트파일, - 하지만 robots.txt는 강제성이 없고, 직접 만든 python 크롤러(requests 등)들은 무시할 수 있다.User-agent: *Disallow: /admin/Disallow: /private/Allow: /public/2. HTTP 헤더 및 User-Agent 차단- 웹 서버에서 특정 User-Agent(봇 식별자)를 감지하고 차단- 예를 들어, scrapy, selenium, python-urllib과 같은 크롤링 관련 User-Agent를 차단 if ($http_user_agent ~* (Scrapy|Selenium|Python-u..

1. 기계어- 0과 1로 이루어진(2진수) 컴퓨터(CPU)가 별다른 해석(컴파일) 없이 읽을 수 있는 프로그래밍 언어- code 작성 → 인터프리터/컴파일러(기계어 번역) → 컴퓨터 인식- low level(기계와 더 가까운 언어, ↔ high level): 속도가 더 빠르지만, 작성이 어렵고 실수하기 쉽다 1) 인터프리터 (변환+실행)- 소스 코드를 한 줄씩 읽어가며 변환하고 즉시 실행하는 프로그램- Python은 인터프리터 언어이기 때문에 파이썬 코드를 실행하려면 인터프리터가 필요하다- Python에서 가장 많이 사용되는 인터프리터는 CPython이다.* CPython은 파이썬 소스 코드를 바이트코드로 컴파일한 후, 이 바이트 코드를 PVM(Python Virtural Machine)에서 실행 2) ..
- Total
- Today
- Yesterday
- 경제
- Python
- 아침
- C언어
- 운동
- IH
- 고득점 Kit
- llm
- 습관
- ChatGPT
- 스크랩
- 티스토리챌린지
- 루틴
- 기초
- 빅데이터 분석기사
- 오블완
- Ai
- 아침운동
- SQL
- 오픽
- 다이어트
- 줄넘기
- 30분
- 영어회화
- 실기
- 프로그래머스
- 갓생
- 뉴스
- 미라클모닝
- opic
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |