구글 검색 색인 요청, 11월달부터 정상화?

올해 Google 검색은 매우 많은 변화가 있었습니다. 검색 로직 자체를 바꿔버리는 "핵심 업데이트", 사용자 경험을 검색 랭킹의 요소로 사용하는 "Core Web Vitals" 업데이트, 각종 스팸 업데이트 등등 업데이트만 해도 한 손으로 다 셀 수 없습니다.

이 영향일지는 몰라도 Google 검색 색인이 제대로 안 되는 경향이 있었습니다. 올해 4월, 5월 경부터 새로운 글의 색인 생성이 잘 안 되기 시작했습니다. 6월 초부터 온갖 에러가 나기 시작했으며 10월까지는 새로운 글 크롤링이 원활하지 못했습니다.

지금은 거의 복구가 된 것 같습니다만, 기록을 위해서 포스팅을 남겨 둡니다.

타임라인

 

거슬러 올라가 보면 2020년 10월 15일 "색인 생성 요청" 기능이 비활성화된 것이 사건이 시작이었습니다.

• 2020년 10월 15일: "색인 생성 요청" 기능이 비활성화됨  (관련 공지)
• 검색 인프라 재구축, 스팸 대응 등이 이유였습니다.
  
• 2020년 12월 22일: "색인 생성 요청" 기능이 다시 활성화됨. (관련 공지)
  
• 2021년 2월: 간간히 최신 글을 크롤링해가지 않음
• 2021년 6월: "서버 오류 (5xx)"가 발생
• 2021년 8월: 최신 글을 거의 크롤링해가지 않는 증상이 발현
• 최신 글들이 "발견됨 - 현재 색인이 생성되지 않음" 상태로 검색에서 제외되었습니다.
• 2021년 9월 28일: "서버 오류 (5xx)" 완전 해소
• 해소되었다가 다시 발생하다가를 반복하다가 9월 말부터는 완전히 해결되었습니다. 
• 2021년 9월 29일: "리디렉션 오류" 발생 (1건)
• 2021년 7월~10월: 이미 색인된 게시글이 다시 재색인되는 현상 발생
  
• 2021년 11월 초: 아무런 조치 없이도 자동으로 사이트맵을 읽어 최신 글을 크롤링하기 시작함. "색인 생성 요청"시 수 시간 내로 크롤링 후 색인 생성이 되기 시작.

 

지금 다시 돌이켜 생각해보면, 2020년 10월부터 검색 업데이트가 시작된 것이 아닌가 합니다. 제가 구글 직원은 아니라서 내부 사정은 모르겠지만, 2020년 10월부터 올해 10월까지 매우 큰 작업이 있었던 것 같습니다.

올해 있었던 Google 업데이트에 대한 내용은 아래 링크를 참고바랍니다.

• 구글 검색의 신기한 점 - 추천 스니펫과 표
• 2021년 6월부터 Google 검색에서 페이지 속도가 검색 순위에 반영될 예정 
• Google 검색 핵심 업데이트, 그리고 검색 순위의 급변
• 구글 검색 트래픽이 감소하는 이유 분석 
• Google의 2021년 7월 핵심 업데이트
• Google Core Web Vitals 업데이트, 7월 업데이트의 영향? 
• Google Core Web Vitals 업데이트의 영향, 그리고 PC에도 적용 예정

 

색인 생성 요청 비활성화

벌써 1년도 넘은 일입니다만, 작년 10월 경에 "색인 생성 요청" 기능이 비활성화된 적이 있습니다. 공식적인 발표는 "검색 인프라 재구축"이었지만, 실제로는 스팸성 크롤링에 대응하는 것이 목적이었던 것 같습니다.

작년 12월 22일, "색인 생성 요청"은 다시 복구되었습니다. 하지만 이 때 이후로  "색인 생성 요청"을 해도 크롤링이 늦어지는 경우가 종종 있었습니다.....

 

크롤링, 색인 생성이 늦어지다

2021년 들어서 최신 글 크롤링이 느려진 것을 느꼈습니다. 보통 길어야 하루이틀이면 포스트가 Google 검색에 반영이 되었으나, 이 때부턴 빨라야 며칠, 길면 한 달 이상 걸리기 시작했습니다. 글을 올려도 "발견됨 - 현재 색인이 생성되지 않음"에 들어갈 뿐 색인이 생성될 때까진 꽤 오래 걸렸습니다. 그래도 반영이 되긴 되었으니 문제는 없다고 생각하고 지낼 무렵..

정확한 시기는 모르겠지만 한두달이 지나도 색인 반영이 안 되는 글이 나오기 시작했습니다. "색인 생성 요청"을 해도 별 반응이 없었습니다. 그래도 글 한 두개만 문제니까 큰 문제는 없을 것이라고 생각했는데...

서버 오류 (5xx)

전세계적으로 Blogger 유저들 사이에서 5xx 에러를 겪었습니다. 6월 초에 발생했다가 6월 중순에 줄었고, 다시 6월 말에 늘었다가 9월에 완전히 해결된 문제입니다. 우연인지 아닌지는 모르겠지만 Google Core Update가 있을 때마다 5xx 에러가 증가하는 패턴을 보이긴 했습니다.

하지만 이 5xx 에러는 더 큰 문제의 시작일 뿐이라는 것은 까마득하게 모르고 있었습니다.

관련 Blogger 포럼 포스트: https://support.google.com/blogger/thread/111978981/crawl-error-server-error-5xx-failed-server-error-5xx-please-help?hl=en

최신글, 색인 반영이 거의 안 되다

7월까지는 느려도 색인 반영이 되긴 되었습니다. 하지만 8월 중순부터 10월까지는 최신 글이 거의 반영이 되지 않았습니다. 이 때 "발견됨 - 현재 색인이 생성되지 않음" 상태인 글이 10개에서 31개로 20개로 늘었습니다. 거의 10주동안 최신 글들이 색인 반영이 안 된 것입니다. 가끔씩 글 하나 정도 색인 반영되었을 뿐, 올리는 글 대다수는 검색에 반영이 되지 않았습니다.

올리는 포스트들이 검색에 반영이 안 되니 블로그 활동에도 회의감이 생기기 시작했습니다. 블로그 지수가 낮아서, 혹은 인기가 없어서 검색 상위에 안 뜰 수는 있습니다. 하지만 스팸 블로그도 아닌데 검색 반영조차 안 된다니.. 야심차게 시기에 맞춰 준비한 글(2021년 4분기 애니플러스 애니메이션 시간표 등)도 무용지물이 되었습니다. 이런 글들이 이제 와서 검색에 노출된다 한들, 포스트를 보는 사람이 많긴 할까요?

8월부터 10월까지 "발견됨" 상태의 글은 늘어나기만 했습니다.

이 때 진행된 업데이트는 Core Update, Core Web Vitals 업데이트, 스팸 업데이트 등등 많은 업데이트가 있었습니다. 많은 업데이트가 진행되는 만큼 크롤링 속도가 느려졌던 것 같기도 합니다.

사실 짜증이 난 부분도 있었습니다. 크롤링을 하는데 자꾸 옛날에 올린 글만 크롤링을 하는 것이 아니겠습니까? 고친 적도 없는 2016년에 올린 글을 다시 크롤링하면서, 정작 새로 올린 글은 크롤링하지 않고 있었습니다. 옛날 글 말고, 새로 올린 글 크롤링하면 안 되나 하는 마음이 있었습니다.

안타깝게도 이 시기(6월~10월)을 전후하여 Blogger를 떠나신 분도 많으리라 봅니다. 포스팅을 해도 조회수가 안 오르면 블로그를 할 맛이 날까요?

최신글, 다시 검색 반영이 되다

 

 

우연히 11월 글이 올린 당일에 바로 색인 생성된 것을 확인했습니다. 거의 1년만입니다. Google Search Console에서 색인 생성 범위를 확인했는데요, 케이오 전철 칼부림/방화 사건 관련 포스트들이 업로드 당일(11월 2일)에 색인 생성된 것을 확인했습니다. 게시 시점으로부터 대략 6~7시간 뒤 크롤링을 해 갔습니다.

크롤링 주기가 다시 빨라진 것은 아닐까 해서 '발견됨' 상태에 있는 글에 대해서 "색인 생성 요청"을 다시 했습니다. 몇 시간도 안 지났는데 색인 반영이 되더군요. 드디어 검색이 정상으로 돌아왔구나 하고 안도한 뒤, '발견됨' 상태에 있는 모든 글을 색인 생성 요청을 했고, 지금은 전부 색인이 생성되어 있습니다.

그 근거로 Search Console의 색인 생성 정보 중 일부를 공개하겠습니다. 2021년 10월 글(URL이 /2021/10으로 된 글)의 크롤링 일자가 단 하나(일본 철도와 음악 시리즈 (1) - 철도창가) 빼고 전부 11월입니다. 10월에 올린 글도 제가 색인 생성 요청을 한 날 (4일, 5일)에 색인 생성 요청을 했기 때문입니다.

사실 10월달부터 서서히 검색 반영이 되기는 했습니다. 7월에 올린 "우리나라에 있는 애니메이션/서브컬쳐 콜라보 카페" 글도 10월 들어 색인이 되었는지 조회수가 늘었습니다.

Blogger와 스팸성 글

 

2020년부터 Blogger에 스팸성 글이 증가하기 시작했습니다. Google 크롤러가 접근하면 뉴스 게시글을 보여주고, 일반 유저가 접근하면 스팸 페이지를 보여주는 유형입니다. "site:blogspot.com"으로 검색하면 이런 스팸글이 엄청 많습니다. URL 패턴은 "xxx.blogspot.com/2021/08/u-http://..."와 같습니다. 정확한 시기는 모르겠지만 8월 말 이후에는 이런 스팸글이 만들어지지 않습니다.

2021년이 유난히 최신 글이 크롤링되지 않았고, 5xx 에러도 났었는데요, 이런 증상하고 스팸성 글하고 어떤 상관이 있을까요? 제 생각엔 이런 오류들이 스팸 대응의 부작용인 것 같습니다. 스팸성 글이 과도하게 많아지다보니 정상적인 글도 제대로 크롤링하지 못하게 되는 것이죠. "색인 생성 요청"이 잘 동작하지 않았던 이유도, 스팸 블로그가 악용하는 것을 막기 위한 조치가 아니었나 싶습니다.

이런 유형의 스팸은 2021년 9월부터는 거의 올라오지 않는데요, 5xx 에러가 사라진 시기와 비슷합니다. 아직도 이런 스팸 글이 검색에 노출되기는 하나, 들어가 보면 이미 삭제된 블로그입니다. 10월까지 스팸에 대응하기 위한 여러 조치를 보강하고, 11월에 최신 글 크롤링을 정상화한 것이 아닌가 하는 생각도 듭니다.

Google 검색 트래픽 감소 분석

올해 7월 구글 검색 트래픽이 감소하는 이유 분석 포스트에서 소개한 것처럼, Google은 왜 검색 트래픽이 줄 수 있는지 공지를 한 적이 있습니다. 공지가 올라온 시기가 막 최신글 반영이 안 되기 시작한 시기와 일치합니다. 검색 관심도가 하락하거나 알고리즘이 바뀌어서 검색 트래픽이 줄 수도 있으니, 신경쓰지 말고 사이트를 운영해 달라는 의미가 아니었을까 합니다.

그 이유로 기술적 문제, 보안 문제, 직접 조치, 알고리즘 변경, 검색 관심도 하락을 들었습니다. Google은 "알고리즘 변경" 때문에 검색 트래픽이 줄 수 있다는 것을 돌려서 말한 것 같습니다. 트래픽이 감소해도 블로거의 문제는 아니니, 하던 대로 포스팅을 하면 된다는 의미입니다. 

 

글을 마치면서

왜 올해 한 해 동안 최신글 크롤링이 느렸는지에 대한 해명이 하나도 없습니다. Google이 합당한 이유를 제공했다면 그 이유를 이해하고, 차분하게 기다렸을 것입니다. 앞으로는 검색 시스템에 문제가 생기면 적극적으로 그 상황을 공유하기를 기대합니다.