'Naver-blog-rank' development report

요구사항

목적
- 키워드 검색시 광고를 제외한 블로그 탭 순위별 글 추출 후 우리글과 우리글이 아닌 블로그를 구분하여 추출하는 프로그램 제작 요청
요청 상세 내용
- config.txt → 몇 번째 순위까지 검색할 지, 프로그램 반복 시간을 설정하고, 반복 시간을 설정하지 않을 경우 1회 실행되고 종료되도록 함
- id_list.txt → 현재 진행하고 있는 파트너 아이디 목록 (최신화가 가능하도록 별도 파일로)
- we_list.txt → 우리 게시글 목록 (최신화 가능하도록 별도 파일로)
- input.txt → 검색하고자 하는 키워드
- output1.txt → 키워드 검색시 광고를 제외한 순위별 글 리스트 + 파트너 판단
- output2.txt → 파트너 및 우리글이 아닌 글 리스트

요구사항 분석

네이버 블로그 탭에서 키워드 검색
광고를 제외한 블로그 순위를 체크하여 output1.txt에 순위(\t)키워드(\t)아이디(\t)글제목(\t)글주소 순으로 출력하되, 아이디가 id_list.txt에 존재한다면 순위(\t)키워드(\t)아이디(파트너)(\t)글제목(\t)글주소 로 출력한다.
- 1번 블로그가 https://blog.naver.com/newsb21/223534733338 라고한다면 newsb21가 아이디
파트너가 아니라면 해당 블로그들의 글 주소와 we_list.txt의 있는 글주소를 매칭시켜서 나오지 않는 글 주소들을 output2.txt에 출력한다.

프로그램 사용법

다음 파일들의 내용을 알맞게 입력한 후, main.py 파일이 있는 곳에 위치시킵니다.
1. input.txt
2. id_list.txt
3. we_list.txt
4. config.txt
config.txt 파일의 내용은 다음과 같이 구성됩니다.
```
[DEFAULT]
repeat=1
ranking=100
[OPTION]
scrollWaitingTime=2.0
monitoringType=m
```
- 요청하신 항목에 대한 설정은 repeat, ranking 입니다.
- repeat=?
  - 프로그램 반복 횟수를 설정합니다.
  - 예외 발생 시 기본 1회 실행됩니다.
- ranking=?
  - 검색할 순위를 지정합니다.
  - 실제 검색된 게시글 개수보다 순위로 설정된 값이 더 클 경우, 검색된 게시글들 까지만 확인합니다.
  - 예외 발생 시 기본 60위 까지 확인합니다.
- 이 아래의 설정은 옵션이며, 필요하신 경우 수정하셔서 사용하시면 됩니다.
- scrollWaitingTime=?
  - 스크롤을 내렸을 때, 게시글들의 갱신을 몇 초 동안 기다릴지 설정하는 항목입니다.
    - 현재 보고 있는 페이지의 총 게시글 개수가 설정된 랭킹 값보다 적은 경우 게시글을 추가로 불러와야 합니다.
    - 네이버의 블로그 탭은 무한 스크롤 형식으로 되어 있고, 스크롤을 바닥까지 내렸을 때 더 불러올 수 있는 게시글들이 있다면 새로 로딩되는데 몇 초간의 시간이 걸립니다.
    - 사용자 별 PC 및 네트워크 환경마다 다르겠지만, (VPN 등을 사용하지 않는 한) 평균 2초 정도면 모든 요소가 로딩되는 것을 확인하였습니다.
    - 따라서 기본값은 2.0초로 설정되어 있고, 필요 시 늘리거나 줄일 수 있습니다.
    - 로딩 대기시간이 너무 짧은 경우, 새로 로딩된 글들을 인식하지 못하여 아래와 같은 예외 메세지가 발생할 수 있습니다.
      - 스크롤의 끝에 도달했기 때문에 블로그 글들을 더 이상 새로 불러올 수 없습니다. 마지막 블로그까지만 확인합니다.
    - 이 경우는 적절히 시간을 늘려주어야 합니다.
  - 예외 발생 시 기본 2.0 초 동안 대기합니다.
- monitoringType=?
  - 기본 방문 사이트를 데스크톱 버전으로 할지, 모바일 버전으로 할지에 대해 설정할 수 있는 항목입니다.
  - 데스크톱 버전의 경우 d, 모바일 버전의 경우 m 입니다.
  - 기본값은 모바일 버전 m 입니다.

개발 이슈

모바일 버전과 데스크탑 버전 호환 문제.
- 모바일 버전과 데스크탑 버전은 사용되는 주소가 조금 달라서 호환 문제가 있었습니다.
- 정황상 모바일 버전에서 사용하시려는 것으로 보이나 요청서 상으로는 명확히 특정되어있진 않아서 서로 호환 가능하도록 하였습니다.
네이버가 아닌 블로그에 대한 id 확인 문제.
- 검색시 티스토리 등 다른 플랫폼의 블로그도 나오는 케이스가 있었습니다.
공식 게시글 검색 문제.
- 경제지 등과 같은 곳에서 광고 목적으로 올리는 글 또한 검색되는 케이스가 있었습니다.

위 세 가지 이슈들에 대해 조건문으로 적절히 처리하였습니다.