나는 내 프로젝트 전반에 걸쳐 휴리스틱스를 풍부하게 하는 데 약 2년을 보냈다. 처음에는 제품을 만들고 있지 않았다. 나는 왜 일부 사이트는 표시되고 다른 사이트는 표시되지 않는지 이해하려고 했다.
그 작업은 한 가지 이상의 분야를 포함했다. 구조화된 데이터. 모바일 평등. 실제 사용자가 페이지를 얼마나 빨리 로드하는지, 단지 점수만이 아니라. 사이트의 보안 태세가 조용히 신뢰 신호를 손상시키는지 여부. 검색 엔진이 인간이 보는 것과 동일한 콘텐츠를 보는지 여부. 각 휴리스틱스는 "우리는 웹사이트를 만들었다"와 "검색 엔진이 우리가 하는 일을 이해한다" 사이의 격차에 대해 무언가를 가르쳐 주었다.
그 정제 과정을 통해 나는 50+ 휴리스틱스에 걸친 공식을 만들었다. 일부는 크롤러 가능성을 측정했다. 다른 일부는 봇과 인간 사이의 렌더링 평등을 측정했다. 몇몇은 표준화된 보안 구현을 추적했다. 패턴은 일관되었다. 문제는 구조적이었고, 해결 가능했습니다.

대출 사이트가 65 점수를 받았고 우리는 그것을 100까지 끌어올렸다

실제 테스트는 친구의 웹사이트에서 전체 세트를 실행했을 때였다. 그는 Sphinx Capital라는 대출 회사를 운영한다. 나는 그가 배운 모든 것을 그의 사이트 개편에 쏟아부었다.
나는 개인 감사를 수행하기 위해 나만의 인프라를 사용했다. 사이트는 휴리스틱 세트에 대해 65/100 정도의 점수를 받았다. 다음 30일 동안 우리는 구조화된 데이터, 정규화 구성, 페이지 속도, 모바일 렌더링, 보안 헤더, 전체 스택 등 기초를 재구축했다. 점수는 100로 상승했다.
트래픽이 거의 즉시 도착하기 시작했다. 이것이 휴리스틱이 단지 이론적으로만 타당한 것이 아니라는 첫 번째 신호였다. 실제 시장에서 실제 경쟁과 함께 작동했다.

트래픽이 유입되는 동안, 나는 감사 엔진을 제품으로 포장하기 시작했습니다

엔진은 실제 사이트에서 입증되었으므로, 나는 그것을 the free audit engine I run라는 제품으로 포장했습니다. 무료 버전이 먼저 공개되었습니다. 나는 독립 창작자들 — 화가, 뮤지션, 사진작가 등, 예산이 없는 에이전시 없이 자신의 웹사이트를 운영하는 사람들과 공유했습니다. 보고서는 그들에게 구조적 수정을 우선순위별로 제공했습니다. 많은 이들이 이를 실행했고 몇 주 안에 트래픽이 향상되는 것을 보았습니다.
내가 이전 4 년 동안 구축한 동일한 번역 시스템은 보고서를 9 언어로 렌더링했습니다. 이것은 나중에 부착한 기능이 아니었습니다. 처음부터 인프라였습니다. 콜롬비아의 한 예술가와 미국의 작은 대출 기관은 모두 자신의 언어로 감사를 읽을 수 있었습니다.
나는 여전히 제품을 다듬고 있었지만, 그 순간이 왔습니다.

누군가 Google를 검색해서 리모델링 및 리플 대출을 위해 $10M 리드를 생성했다

이는 개편이 완료된 후 약 30일 뒤에 일어났다. 사용자는 모바일 기기에서 대출 신청서를 5분 이내에 작성했다. 리드의 가치는 $10M였다.
그 단일 검색 결과는 내가 엔진이 단지 작동하고 있을 뿐 아니라 실제 돈을 벌고 있다는 것을 깨달은 순간이었다. 실제 돈, 실제 시장, 실제 경쟁, 대부분의 사람들이 실제로 사용하는 기기에서 작동하고 있었다. 내가 2년 동안 다듬어 왔던 기술적 기반이 대부분의 연간 마케팅 예산보다 더 큰 가치를 지닌 리드를 생성했고, 그것은 사이트가 크롤링 가능하고 빠르며 명확했기 때문에 검색을 통해 유기적으로 도착했다.

감사 엔진을 출시한 후 1,149 보고서가 같은 패턴을 밝혀냈습니다

무료 감사 도구를 출시한 이후로 패턴은 더 명확해졌습니다. 1,122 무료 감사를 통해:
Free-audit findings across 1,122 audits (% of audits with issues)
Chart data
% of audits
Security gaps88
Performance concerns82
Crawlability issues81
Canonical/redirect problems67
Site architecture gaps40
이것들은 예외가 아닙니다. 이것들은 웹의 기본 상태입니다.
가장 빠르게 개선된 감사는 하나의 공통점을 가졌습니다: 창립자들이 몇 주가 아니라 며칠 안에 기술적 발견에 대응했습니다. 부동산 플랫폼은 감사를 받은 후 사이트맵과 정규화 구성을 수정했습니다. 색인된 페이지 수가 3주 안에 두 배가 되었습니다. 대출 사이트는 Time to First Byte를 2.4초에서 380밀리초로 줄였습니다. 유기적 트래픽이 34% 증가했습니다 60일 동안.
패턴은 일관됩니다. 기술적 준비가 콘텐츠 양보다 낫습니다. 50페이지가 있는 빠르고 크롤 가능한 사이트는 500가 느리고 고장난 사이트보다 우수합니다.
Diagram source
graph LR
    A[기술 감사를 수행] --> B{Critical Issue Found?}
    B -->|예| C[며칠 안에 수정]
    B -->|아니오| D[속도 최적화]
    C --> E[재인덱싱]
    D --> E
    E --> F[유기적 발견]
    style C fill:#e1f5e1
    style F fill:#e1f5e1

발견 문제는 콘텐츠보다 큽니다

대부분의 사이트는 발견의 첫 단계에서 실패합니다: 검색 엔진이 페이지를 크롤링, 인덱스, 또는 순위 매길 수 없습니다. 인프라가 파손되면 콘텐츠 캘린더는 의미가 없습니다.
가장 흔한 문제는 화려하지 않습니다. 그것들은 구조적입니다:
  • 누락되었거나 잘못된 사이트맵 — Google이(가) 페이지를 찾을 수 없습니다.
  • 캐노니컬 태그가 없음 — 동일한 콘텐츠가 여러 URL에 존재해 권한이 중복으로 분산됩니다.
  • 깨진 hreflang — 다국어 사이트가 잘못된 지역에 잘못된 언어를 제공해 크롤러를 혼란스럽게 합니다.
  • 렌더 차단 리소스 — 인간에게는 페이지가 정상적으로 보이지만 봇에게는 비어 있습니다.
  • 서버 응답 지연 — 크롤러가 페이지가 완전히 로드되기 전에 포기합니다.
이것들은 엔지니어링 문제입니다. 그리고 해결 가능합니다.

더 큰 그림

내가 만드는 모든 것의 통합 아이디어는 발견 가능성입니다. 대출자가 차용자를 찾으려 하든, 투자자가 시장을 스크리닝하든, 창업자가 발견되려 하든, 문제는 동일합니다: 적절한 사람들이 적절한 시기에 당신을 발견해야 합니다.
검색 엔진은 여전히 인터넷의 주요 발견 계층입니다. 기술 기반을 고치는 것이 대부분의 비즈니스가 할 수 있는 가장 높은 레버리지 움직임입니다. 나는 2년 동안 데이터를 분석하고, 구조화된 데이터, 모바일 동등성, 성능, 보안을 통해 휴리스틱을 정제하며, 모바일 기기에서 단일 검색이 $10M 리드로 전환되는 것을 보면서 이 작업이 중요함을 깨달았습니다.
같은 감사 엔진은 오늘도 실행 중입니다. 사이트 점수를 여기에서 확인할 수 있습니다.