[AI 서비스 개발] 크롤링으로 데이터 수집하기(무한 스크롤 포함)
1. 크롤링이란?- 웹에서 정보를 수집하는 기술- 쇼핑몰의 가격 정보를 크롤링하여 경쟁사 분석, 뉴스 기사나 학술 정보를 크롤링하여 데이터 분석 등에 사용 2. 사용법- 무한 스크롤의 경우 구글 크롬 검사(개발자모드) > Network 탭을 열고, 스크롤을 내린뒤 나오는 글 중 특정 글자를 filter에서 검색하고 클릭한다. 그 다음 header 탭을 클릭하면 Request URL:에 URL주소를 알려준다. 해당 url로 get요청을 하면 selenium으로 스크롤을 내리거나 할 필요 없이 json이나 beautifulsoup로도 간단하게 크롤링을 할 수 있다. 1) 데이터가 json 형식으로 생긴 경우import requestsimport jsonpage = requests.get("크롤링 하고 싶은..
AI/AI 서비스 개발
2024. 11. 20. 16:35
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 빅데이터 분석기사
- llm
- 뉴스
- 갓생
- 티스토리챌린지
- 다이어트
- 스크랩
- 오픽
- 경제
- 영어회화
- SQL
- 루틴
- 고득점 Kit
- 기초
- 실기
- 줄넘기
- C언어
- 오블완
- ChatGPT
- Python
- 아침
- IH
- 프로그래머스
- Ai
- opic
- 아침운동
- 미라클모닝
- 운동
- 습관
- 30분
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
글 보관함