본문 바로가기

파이썬 (Python)/크롤링 (Crawling)7

웹페이지 크롤링 + Link로 연결되어 보여주거나 호출로 보여지는 Data를 크롤링 하는 방법 안녕하세요, 오늘 포스팅할 내용은 Link로 연결되어 있거나 호출로 보여지는 Data를 크롤링 하는 방법입니다. 그럼 Link로 연결되어 보여주거나 호출로 보여지는 Data에 대해서 하나 예문으로 보여드리면, 아래 Snap Shot에 표시한 "댓글 갯수" 입니다. 자 그럼, 위 댓글 항목에 대한 내용을 크롤링하는 방법에 대해서 설명 드리도록 하겠습니다. 설명에 앞서, 저희가 호출 했을때, 응답하는 코드에 대해서 아래와 같이 간단하게 작성하였습니다. "XX" 라고 표시한 부분에 대해서는 그때 그때 마다, 구글링을 통해서 어떤 코드인지를 찾는 걸 추천 드립니다. 크롤링 수행 시 응답 코드 1) 1XX (정보) : 사용자의 요청을 받았으며 요청한 프로세스를 진행함 2) 2XX (성공) : 사용자의 요청을 성공.. 2021. 3. 4.
Python 파이썬 인스타그램 사진 크롤링 구현하기 안녕하세요, 이번 포스팅은 인스타그램 사진을 크롤링 하는 방법에 대해서 기재해보도록 하겠습니다. 이전에 포스팅한 이미지 크롤링하는 방법을 이용하여 구현해보도록 하겠습니다. 요즘 크롤링에 대해서, 관심이 증대되고 있는 상황에서, 이미지나 컨텐츠 크롤링을 시도해보시고 자신이 원하는 사항을 구현하는데 사용하시면 될 거 같습니다. 인스타그램 이미지 크롤링 하기 : 그럼, 일단 코딩을 하기 위해서, 파이참을 실행을 합니다. 그리고, 파이참 실행과 동시에, 기존에 자신이 작업하고 있는 코딩 프로그램 폴더에 새로운 파이썬 파일을 하나 만듭니다. 아래 Snap Shot을 보시면, "Demostration_Crawling_Insta.py" 파일을 보실 수 있습니다. 그럼 슬슬 코딩을 짜볼까요. 일단 이번 작업을 위해서 .. 2021. 2. 28.
머신 러닝(Machine Learning) - 챗봇(Chatbot) 만드는 방법 + chatterbot 라이브러리 설치하는 방법 안녕하세요, 오늘 포스팅 할 내용은, Machine Learning의 아주 기본이자, 요즘에 많은 기업에서 활용하고 있는 챗봇(Chatbot)를 만드는 과정을 포스팅 해볼려고 합니다. 챗봇(Chatbot)를 만드는 과정은 유튜브나 여러가지 블로그에도 많이 소개되는 것처럼 요즘 핫한 아이템인거 같습니다. 그럼 하나 하나 차근 차근 설명 해볼테니까, 따라오시면 됩니다. 1. Chatbot 라이브러리 설치하기 : 일단 저희가 라이브러리를 만들지 않은 이상, 기존에 만들어 놓은 라이브러리를 사용해야 합니다. 제가 이번에 이용할 라이브러리는 "chatterbot" 입니다. 관련 자료는 아래 링크 참조 하시면 됩니다. 저도 공부하면서 많이 참조한 자료 입니다. [참조 자료 : https://chatterbot.re.. 2021. 2. 28.
Python 파이썬 HTTP Error 406 : Not Acceptable 솔루션 User Agent 선언 + 멜론 차트 크롤링 하기 안녕하세요, 오늘 포스팅 할 내용은, 크롤링 시, 저희가 원하는 HTML 내용이 잘 안가져 와지는 현상 및 멜론 차트 100곡을 크롤링하는것에 대해서 포스팅 하려고 합니다. 멜론 차트 100곡을 크롤링이라는 실습을 통해서 설명을 더 쉽게 하기 위한 것입니다. 그럼 라이브러리부터 선언하는 것 부터 시작해서 크롤링 시, 저희가 원하는 HTML 내용이 잘 안가져 와지는 현상 및 멜론 차트 100곡을 크롤링하는것에 대해서 포스팅을 시작하도록 하겠습니다. 1. 크롤링을 위한 기본 Python Library 1) import urllib.request : 크롤링을 하는 Site에 접속하기 위한 Library 2) from bs4 import BeautifulSoup : 정의한 URL을 이용하여, HTML을 읽어 오.. 2021. 2. 27.
파이썬 Python 웹사이트 이미지 파일을 가져 오는 크롤링하기 안녕하세요, 이번 포스팅에는 파이썬을 이용하여 웹사이트 이미지 파일을 가져 오는 크롤링 Code에 대해서 작성해보도록 하겠습니다. 이전 포스팅에서 설명 드린 내용과 연계해서 설명 드리도록 하겠습니다. 이미지 크롤링 구현하기 이전 포스팅에서 사용한 코드를 가지고 시작해보도록 하겠습니다. 이전 포스팅 코드 사항은 아래 링크를 통해서 먼저 선 학습하고 오시면 더 이해가 빠르실겁니다. 기존 Code에서, 우리가 다운 받을 Image 관련 class를 Naver의 HTML에서 가져와야 합니다. 그래서 그 Code를 입혀야 합니다. 일단, Nave에 들어가, 자신이 원하는 내용의 이미지를 검색을 합니다. 아래와 같이 저는 Lanaguge라는 키워드로 검색을 하였고, 화면을 보면, 많은 이미지가 검색이 되는 걸 볼 .. 2021. 2. 27.

// 내부링크를 현재창으로 열기 // Open internal links in same tab