Я потратил примерно 2 лет, обогащая эвристику в своих проектах. Я сначала не создавал продукт. Я пытался понять, почему одни сайты появляются, а другие нет.
Работа охватывала более одной дисциплины. Структурированные данные. Мобильная совместимость. Как быстро страница действительно загружается реальным пользователем, а не только оценкой. Действительно ли безопасность сайта тихо портит его сигналы доверия. Видят ли поисковые системы тот же контент, что и люди. Каждая эвристика учила меня чему‑то о разрыве между «мы создали сайт» и «поисковые системы понимают, что мы делаем».
Через это уточнение я создал формулы для более чем 50+ эвристик. Некоторые измеряли доступность для обхода. Другие измеряли согласованность рендеринга между ботами и людьми. Несколько отслеживали стандартизированную реализацию безопасности. Шаблоны были последовательными. Проблемы были структурными. И они были исправимыми.

Сайт по кредитованию получил оценку 65, и мы довели его до 100

Настоящий тест пришёл, когда я запустил полный набор на сайте друга. Он управляет компанией по кредитованию под названием Sphinx Capital. Я вложил всё, чему научился, в перестройку его сайта.
Я использовал свою собственную инфраструктуру для проведения частного аудита. Сайт получил примерно 65 из 100 по набору эвристик. В течение следующих 30 дней мы перестроили фундамент — структурированные данные, каноническая конфигурация, скорость страницы, мобильное отображение, заголовки безопасности, полный стек. Оценка выросла до 100.
Трафик начал поступать почти сразу. Это был первый сигнал, что эвристики не только теоретически sound. Они работали на реальном рынке с реальной конкуренцией.

Пока приходил трафик, я начал упаковывать движок аудита в продукт

Движок доказал свою эффективность на реальном сайте, поэтому я упаковал его в продукт под названием the free audit engine I run. Бесплатная версия вышла первой. Я поделился ею с независимыми создателями — художниками, музыкантами, фотографами, управляющими собственными сайтами без бюджета на агентство. Отчёты давали им приоритетный список структурных исправлений. Многие действовали по ним и увидели рост трафика в течение недель.
Та же система перевода, которую я создал за предыдущие 4 лет, выводила отчёты на 9 языках. Это не была функция, которую я добавил позже. Это была инфраструктура с самого начала. Художник в Колумбии и небольшой кредитор в Соединённых Штатах оба могли читать свои аудиты на своём языке без препятствий.
Я всё ещё строил продукт в нечто изысканное, когда настал момент.

Кто-то искал Google для займа Fix-and-Flip и сгенерировал лид на $10M

Это произошло примерно через 30 дней после завершения перестройки. Пользователь был на мобильном устройстве и заполнил заявку на займ менее чем за 5 минут. Лид стоил $10M.
Этот один результат поиска стал моментом, когда я понял, что движок работает не просто так. Он работал за реальные деньги, на реальных рынках, против реальной конкуренции, на устройстве, которое большинство людей действительно используют. Техническая основа, которую я дорабатывал в течение 2 лет, только что сгенерировала лид стоимостью более, чем большинство годовых маркетинговых бюджетов — и он пришёл органически, через поиск, потому что сайт был доступен для сканирования, быстрый и понятный.

После запуска Audit Engine 1,149 отчёты показали ту же схему

С момента запуска бесплатного инструмента аудита паттерны стали только более ясными. В течение 1,122 бесплатных аудитов:
Free-audit findings across 1,122 audits (% of audits with issues)
Chart data
% of audits
Security gaps88
Performance concerns82
Crawlability issues81
Canonical/redirect problems67
Site architecture gaps40
Это не крайние случаи. Это состояние по умолчанию в интернете.
Аудиты, которые улучшились быстрее всего, имели одну общую черту: основатели действовали по техническим выводам в течение дней, а не месяцев. Платформа недвижимости исправила свой sitemap и каноническую конфигурацию после аудита. Количество проиндексированных страниц удвоилось за 3 недели. Сайт кредитования сократил Time to First Byte с 2.4 секунд до 380 миллисекунд. Органический трафик вырос 34% за 60 дней.
Паттерн последовательный. Техническая готовность важнее объёма контента. Быстрый, доступный для сканирования сайт с 50 страницами превосходит медленный, сломанный сайт с 500.
Diagram source
graph LR
    A[Запустить технический аудит] --> B{Найден критический дефект?}
    B -->|Да| C[Исправить за дни]
    B -->|Нет| D[Оптимизировать скорость]
    C --> E[Перенумеровать]
    D --> E
    E --> F[Органический поиск]
    style C fill:#e1f5e1
    style F fill:#e1f5e1

Проблема обнаружения больше, чем контент

Большинство сайтов терпят неудачу на первом этапе обнаружения: поисковые системы не могут сканировать, индексировать или ранжировать их страницы. Календарь контента не имеет значения, если инфраструктура под ним сломана.
Наиболее распространённые проблемы не являются гламурными. Это структурные:
  • Отсутствие или некорректные sitemaps — Google не может найти ваши страницы, если вы не скажете ему, где они находятся.
  • Отсутствие canonical тегов — тот же контент живёт по нескольким URL, разбивая авторитет между дубликатами.
  • Неправильный hreflang — многоязычные сайты обслуживают неправильный язык неправильному региону, запутывая сканеры.
  • Ресурсы, блокирующие рендеринг — страницы выглядят нормально для людей, но пусты для ботов.
  • Медленные времена ответа сервера — сканеры покидают страницы, прежде чем они полностью загрузятся.
Это инженерные проблемы. И они исправимы.

Большая картина

Единая идея во всём, что я создаю, — это обнаруживаемость. Независимо от того, являетесь ли вы кредитором, пытающимся достичь заемщиков, инвестором, проверяющим рынки, или основателем, пытающимся быть найденным, проблема одна: нужные люди должны обнаружить вас в нужное время.
Поисковые системы всё ещё являются основным слоем обнаружения в интернете. Исправление вашей технической основы — это самый эффективный шаг, который большинство бизнесов могут предпринять. Я узнал это, потратив 2 лет, анализируя данные, уточняя эвристики по структурированным данным, мобильной совместимости, производительности и безопасности, и наблюдая, как один поиск на мобильном устройстве превратился в лид $10M, что доказало, что работа имеет значение.
Тот же аудит‑двигатель всё ещё работает сегодня. Вы можете увидеть, как ваш сайт оценивается здесь.