반응형

크롤링 2

[python] konlpy 활용 기사내용속 단어 빈도수 확인하기

저번 포스팅에서는 news title과 link를 feedparser로 가져오는 내용을 함수로 만들고, Article을 사용하여 링크를 통해 기사제목과 기사내용 전체를 긁어왔습니다. 이번포스팅에서는 지난번에 진행된 내용을 함수로 만들어주고 konlpy(한국어자연어처리) 패키지를 사용하여 한글을 분석해보고자합니다. konlpy(코엔엘파이)는 https://konlpy-ko.readthedocs.io/ko/v0.4.3/ 사이트를 참고하시면 사용법을 익힐수 있습니다. 목표 Artilcle을 사용하여 링크에서 기사내용을 가져오는 함수만들기 konlpy(한국어자연어처리) 패키지를 사용하여 기사내용에 나온 명사와 명사의 빈도 파악하기 feedparser 와 newspaper3k 인스톨 In [1]: !pip ins..

[python] 뉴스기사 크롤링, newspaper Article

뉴스 기사 title 과 link 가져오는 함수만들기 지난 포스팅에서 뉴스기사에서 title과 link를 RSS에서 가져오는 방법을 feedparser를 통해 보여드렸습니다. 오늘은 정리하여 함수로 만들고, 추가로, 가져온 링크로부터 크롤링하여 해당기사의 제목과 본문을 가져와 보도록 하겠습니다. news title /link 함수화하기¶ feedparser 설치 In [1]: !pip install feedparser Collecting feedparser Downloading feedparser-5.2.1.tar.bz2 (192 kB) Building wheels for collected packages: feedparser Building wheel for feedparser (setup.py): s..

728x90