본문 바로가기

크롤링5

웹페이지 크롤링 + Link로 연결되어 보여주거나 호출로 보여지는 Data를 크롤링 하는 방법 안녕하세요, 오늘 포스팅할 내용은 Link로 연결되어 있거나 호출로 보여지는 Data를 크롤링 하는 방법입니다. 그럼 Link로 연결되어 보여주거나 호출로 보여지는 Data에 대해서 하나 예문으로 보여드리면, 아래 Snap Shot에 표시한 "댓글 갯수" 입니다. 자 그럼, 위 댓글 항목에 대한 내용을 크롤링하는 방법에 대해서 설명 드리도록 하겠습니다. 설명에 앞서, 저희가 호출 했을때, 응답하는 코드에 대해서 아래와 같이 간단하게 작성하였습니다. "XX" 라고 표시한 부분에 대해서는 그때 그때 마다, 구글링을 통해서 어떤 코드인지를 찾는 걸 추천 드립니다. 크롤링 수행 시 응답 코드 1) 1XX (정보) : 사용자의 요청을 받았으며 요청한 프로세스를 진행함 2) 2XX (성공) : 사용자의 요청을 성공.. 2021. 3. 4.
BeautifulSoup 패키지를 이용해서 HTML 내용 가져오기 안녕하세요, Davey 입니다. 오늘 포스팅할 내용은 웹 크롤링에서 정말 중요한 패키지인 BeautifulSoup를 이용하여, HTML 내용을 가져오는 방법에 대한 것입니다. 이전에 request 패키지는 그 웹페이지를 호출하여, 호출한 그 페이지의 내용을 가져오는 것이라면, BeautifulSoup는 그 가져온 내용에서 우리가 원하는 내용을 추려서, 출력하는 패키지라고 생각하시면 됩니다. 그럼 BeautifulSoup에 대한 정의를 먼저 설명 드리면서 포스팅 시작하도록 하겠습니다. 1. BeautifulSoup 패키지 : 뷰티플 수프는 HTML과 XML 문서를 파싱하기위한 파이썬 패키지입니다. 웹 스크래핑에 유용한 HTML에서 데이터를 추출하는 데 사용할 수있는 구문 분석 된 페이지에 대한 구문 분석 .. 2021. 2. 13.
웹 페이지 크롤링 작업 수행 위한 기초 지식 이해하기 - OPEN API 이용하기 안녕하세요, Davey 입니다. 오늘 포스팅 할 내용은 웹 페이지에서 크롤링 작업 수행을 위해서 필요한 OPEN API를 어떻게 이용하는 지에 대한 내용입니다. 이 전에 제가 미션을 가지고 크롤링 작업을 했을 때는, 개발자 도구에서, class 와 id 를 분석해서 원하는 내용을 가져 오는 작업을 했었는데, 이런 OPEN API를 웹페이지에서 제공을 한다면, 굳이 그렇게 힘들게 코드를 분석하지 않고, 원하는 데이터를 가져올 수가 있는 장정이 있습니다. 그럼 일단 API에 대해서 먼저 설명을 드리면서 포스팅을 시작하도록 하겠습니다. 1. API (Application Programming Interface, 응용 프로그램 프로그래밍 인터페이스) 란? : API(Application Programming I.. 2021. 2. 13.
웹페이지 크롤링 + CSS 메소드를 이용하여 원하는 Data 추출 하기 안녕하세요, Davey 입니다. 오늘은 CSS 함수를 이용하여, 웹페이지에서 원하는 Data를 추출하는 법에 대해서 포스팅할 예정입니다. 이전에 설명드린 내용은, BeautifulSoup의 find와 find_all 함수를 이용하여, 원하는 Data를 찾았다면, 이번에는 select 와 select_one 함수로 구현한다라고 생각하시면 됩니다. 그럼 차근 차근 하나 씩 설명 드리도록 하겠습니다. 1. CSS (Cascading Style Sheets) 란? - 종속형 시트 또는 캐스케이딩 스타일 시트(Cascading Style Sheets, CSS)는 마크업 언어가 실제 표시되는 방법을 기술하는 언어로, HTML과 XHTML에 주로 쓰이며, XML에서도 사용할 수 있습니다. W3C의 표준이며, 레이아웃.. 2021. 2. 13.
사이트맵 sitemap.xml 만들어 구글 서치 콘솔 네이버 서치어드바이저 에 등록하기 안녕하세요, Davey 입니다. Sitemap을 등록하면서, 이 부분에 대해서, Posting하는게 어떨까 라는 생각이 들어서, 이렇게 Posting하게 되었습니다. 오늘 주제는, "사이트맵 sitemap.xml 만들어 구글 서치 콘솔 네이버 서치어드바이저 에 등록하기" 입니다. 블로그를 운영하시는 분들에게는 사이트 맵이라는 단어가 익숙하겠지만, 블로그를 처음시작하거나, 블로그를 운영하지 않으시분들에게는 생소할 거라고 생각합니다. 저도 처음에, 정말 생소했습니다. 그럼 사이트 맵 만들기 전에, 간단하게 사이트 맵이 어떤 것인지 간단하게 설명하고 가겠습니다. 1. 사이트 맵( Sitemap ) 이란? - 일단, 사이트맵(Sitemap)은 xml 이라는 확장자를 가지고, 사이트에 있는 페이지, 동영상 및 기.. 2020. 4. 22.
// 내부링크를 현재창으로 열기 // Open internal links in same tab

티스토리툴바