요구사항

• 목적
  • 네이버 모통검 1페이지에 우리글 노출되면 텔레그램에 전송되도록 한다.
• 상세 요구사항
  1. input.txt에 검색하고 싶은 키워드들을 입력
  2. ID.txt에 모니터링할 블로그 아이디(블로그 주소 / split하여 [-2] 인덱스)
• 조건
  • 프로그램은 24시간 구동하기 때문에 run() 바깥에 while True를 감싸주세요.
  • 프로그램 구동 중간에 사용자가 input.txt을 수정할 수 있습니다.
  • 한번 텔레그램에 전송한 블로그 주소는 전송하지 않아야 합니다. (log.txt에 작성하여 활용)
• 결과
  • 텔레그램 메시지는 아래와 같이 전송되어야함
    • 네이버 검색 [[키워드]] 에서 [[블로그 주소]] 가 발견되었습니다.

요구사항 분석

1. m.naver.com에서 input.txt를 돌아가면서 검색한다.
2. input.txt 의 검색결과에서 블로그(m.blog.naver)들 링크 중 ID.txt의 id가 있는 블로그만 들어가서 본문을 확인한다.
3. 블로그 본문에서 link.txt의 링크 중 하나라도 존재(in)하면 다음 input.txt를 검색한다.
4. 위 3번에서 존재하지 않는 경우에는 telegram을 발송한다.

추가 설치

• 아래 명령어를 통해 추가 모듈을 설치하였습니다.
  • pip install python-telegram-bot==13.14
  • pip install python-dateutil

프로그램 사용법

1. config.txt 파일의 내용은 다음과 같이 구성됩니다.

   [DEFAULT]
   크롤링수행방법=주기적
   크롤링대기기간=일별
   [TELEGRAM]
   텔레그램토큰=7869983450:AAFTl8hEQ39aNjCBw9AWkB0soB2vQFFLppo
   채팅아이디=-1002389054720
   

   1. 반복 항목에 대한 설정은 크롤링수행방법, 크롤링대기기간 입니다.
      • 안전을 위해 어느 한 쪽에서라도 예외 발생 시 24시간마다 반복하는 주기적, 일별 로 고정됩니다.
      • 크롤링수행방법=?
        • 크롤링 수행 방법을 설정합니다.
          • 다음과 같은 선택 가능 옵션들이 있습니다.
            • 주기적 : 주기적으로 크롤링 수행.
            • 단발성 : 한 번만 크롤링 수행하고 프로그램 종료.
          • 기본적으로 주기적 으로 설정되어 있습니다.
          • 예외 발생 시에는 주기적, 일별 로 설정됩니다.
      • 크롤링대기기간=?
        • 크롤링 수행 간격을 설정합니다.
          • 다음과 같은 선택 가능 옵션들이 있습니다.
            • 일별 : 하루에 한 번씩 크롤링 수행.
            • 주별 : 일 주일에 한 번씩 크롤링 수행.
          • 기본적으로 일별 로 설정되어 있습니다.
          • 예외 발생 시에는 주기적, 일별 로 설정됩니다.
   2. 텔레그램 설정에 대한 부분은 텔레그램토큰, 채팅아이디 입니다.
      • 텔레그램 설정에 대한 부분이 누락되면 프로그램은 작동하지 않습니다.

개발 이슈

1. 드라이버 시크릿모드 사용시 백그라운드 탭으로 neajdppkdcdipfabeoofebfddakdcjhd 라는 확장 탭이 생기는 현상.

   • 프로그램 초기화시 맨 마지막 탭을 제거하면서 시작하여 해결함.

2. 크롬 드라이버 초기화 불가 문제.

   • WebDriverException이 발생하며 Unable to receive message from renderer 또는 not connected to DevTools 라는 메세지와 함께 드라이버 초기화가 되지 않는 현상.

     • 현재 조사중.
       1. 크롬 드라이버와 셀레니움간의 호환에 관한 문제?
       2. driver의 정상 종료가 되지 않을시 프로세스에 크롬드라이버가 남으면서 발생?

   • 원인은 알 수 없으나 아래 세 개의 옵션 추가로 해결하였음.

     options.add_argument("--remote-debugging-port=9222")
     options.add_argument("--no-sandbox")
     options.add_argument("--disable-dev-shm-usage")
     

3. 요구사항의 착각으로 인해 대대적인 구조 변경을 하였음.

   • 네이버 블로그탭에 대한 검색. >>> 모통검 1페이지에 대한 검색.
     • class fds-ugc-block-mod-list jC7XdUfzy0H12fIpVynQ 에 대한 검색 수행.
     • class lst_total 에 대한 검색 수행.
     • class lst_view 에 대한 검색 수행.
     • id ct_feed 에 대한 검색 수행.

4. TypeError: object Message can't be used in 'await' expression 에러 관련.

   • 기존 pip install python-telegram-bot 로 설치하여 사용하던 텔레그램 모듈에 대해, pip install python-telegram-bot==13.14 로 버전을 낮춰 설치함으로써 해결하였습니다.