밥짓는 사나이와 와이프

저번 포스팅에서는 news title과 link를 feedparser로 가져오는 내용을 함수로 만들고, Article을 사용하여 링크를 통해 기사제목과 기사내용 전체를 긁어왔습니다. 이번포스팅에서는 지난번에 진행된 내용을 함수로 만들어주고 konlpy(한국어자연어처리) 패키지를 사용하여 한글을 분석해보고자합니다. konlpy(코엔엘파이)는 https://konlpy-ko.readthedocs.io/ko/v0.4.3/ 사이트를 참고하시면 사용법을 익힐수 있습니다. 목표 Artilcle을 사용하여 링크에서 기사내용을 가져오는 함수만들기 konlpy(한국어자연어처리) 패키지를 사용하여 기사내용에 나온 명사와 명사의 빈도 파악하기 feedparser 와 newspaper3k 인스톨 In [1]: !pip ins..

뉴스 기사 title 과 link 가져오는 함수만들기 지난 포스팅에서 뉴스기사에서 title과 link를 RSS에서 가져오는 방법을 feedparser를 통해 보여드렸습니다. 오늘은 정리하여 함수로 만들고, 추가로, 가져온 링크로부터 크롤링하여 해당기사의 제목과 본문을 가져와 보도록 하겠습니다. news title /link 함수화하기¶ feedparser 설치 In [1]: !pip install feedparser Collecting feedparser Downloading feedparser-5.2.1.tar.bz2 (192 kB) Building wheels for collected packages: feedparser Building wheel for feedparser (setup.py): s..

뉴스기사들을 긁어오는 크롤러를 feedparser를 사용하여 만들어보고자 합니다. 뉴스를 제공하고 있는 곳에서 제공되는 RSS주소를 통해 들어가면, 기사의 타이틀과 링크들을 가져올수 있는데요 이를 feedparser를 통해 title과 link들을 긁어오고자 합니다. 이후에 해당링크에 다시 들어가서 기사내용들을 긁어오면 기사들을 모두 긁어올수 있겠죠? 구글의 colab을 사용하여 만들고 주피터로 옮겨 html로 포스팅에 올렸습니다. RSS를 통한 뉴스기사 제목가져오기 In [1]: !pip install feedparser # !pip install newspaper3k # !pip install konlpy Requirement already satisfied: feedparser in /usr/loc..