오늘은 파이썬 뉴스 크롤링과 LLM 요약 자동화 파이프라인에 대해서 알아보겠습니다.바쁜 아침 출근길이나 업무 시작 전 수십 개의 뉴스 사이트를 일일이 접속해 헤드라인을 훑는 일은 상당한 집중력과 시간을 소모합니다. 원하는 분야의 주요 언론사 기사 원문을 자동으로 수집하고, 대규모 언어 모델(LLM)을 통해 핵심만 3줄로 요약한 뒤, 매일 아침 정해진 시간에 개인 메신저로 받아보는 자동화 파이프라인은 정보 과부하를 … 더 읽기
한줄 요약 “이제 진짜로 자동으로 돌아가는 시스템을 만든다” “부분적으로 돌아가는 자동화는 반쪽짜리다.”👉 이 글에서는 크롤링 → 본문추출 → 요약 → LLM 리포트 → 워드프레스 자동 게시까지하나의 완성된 파이프라인으로 묶는 전체 코드를 정리한다. 1. 목표 2. 전체 구조 이제 아래 코드들을 그대로 복사해서 파일로 만들면, 하나의 완성된 자동화 파이프라인이 된다. 💻 1) core/crawler.py — URL 수집 … 더 읽기
한줄 요약:여러 웹페이지를 크롤링 → 본문 정제 → 요약 + 키워드 추출 → CSV/Markdown 리포트까지 자동으로 생성하는 올인원 파이프라인! 1.목표 2.준비 (필요 패키지 설치) 최초 1회 NLTK 리소스 다운로드가 필요할 수 있어요(코드에 자동 처리 포함). 3.완성 코드 (복붙해서 바로 실행) 파일명 예시: auto_report.py 4.동작 원리 요약 5.사용 방법 6.커스터마이즈 팁 7.확장 아이디어 8.주의사항 항목 설명 … 더 읽기
한줄 요약:정적인 페이지는 BeautifulSoup으로 충분하지만,자바스크립트로 렌더링되는 동적 페이지는 Selenium으로 자동 제어하자! 1. 목표 2. Selenium이란? Selenium은 “브라우저를 자동으로 조작하는 도구”야.실제 사람이 클릭·입력·스크롤하는 것을 그대로 코드로 재현할 수 있어. ✅ 설치 명령어 3. WebDriver 설치 Selenium은 브라우저를 직접 조작하므로 브라우저별 드라이버가 필요해요. 브라우저 드라이버 이름 다운로드 링크 Chrome ChromeDriver chromedriver.chromium.org Edge EdgeDriver developer.microsoft.com/en-us/microsoft-edge/tools/webdriver Firefox GeckoDriver github.com/mozilla/geckodriver … 더 읽기