Как я разобрал краулинг и индексацию маркетплейса на 350 000+ URL
Клиент — немецкоязычный маркетплейс коммерческого транспорта: грузовики, прицепы, спецтехника и запчасти для покупателей по Германии и Европе. В каталоге более 350 000 URL по категориям, брендам и фильтрам. По данным аудита, 242 000 URL находились в статусе Google Search Console «Crawled — currently not indexed». Статус сам по себе не объясняет причину для каждого URL, поэтому я проверял сегменты и шаблоны страниц отдельно.
Это случай «масштаб без структуры»: большой каталог и удобные для покупателей фильтры соседствовали с множеством поисковых URL без отдельной ценности. Моя задача — провести технический аудит и подготовить дорожную карту по обходу, канонизации, контенту и доступности данных для AI-поиска.
Короткий итог: я разобрал три связанные проблемы — избыточный обход фильтров, конфликты канонизации и малополезные шаблонные страницы — и перевёл их в план внедрения по приоритетам. Это кейс аудита и стратегии. Внедрение остаётся на стороне команды; подтверждённых результатов после изменений пока нет.
Диагностика
Избыточный обход фильтров. Фасетная навигация была открыта для Googlebot: комбинации «бренд × страна × состояние × ось» генерировали тысячи URL без отдельного поискового спроса. Часть истёкших объявлений продолжала отдавать 200 без полезного актуального содержания. В sitemap присутствовали пустые и отфильтрованные страницы, хотя они не были приоритетом для индексации.
Путаница с канонизацией. Дубли между страновыми фильтрами и родительскими категориями без ясной иерархии канонических. Параметрические URL (sort=, price=, m=) обрабатывались в robots.txt и sitemap непоследовательно. Пагинация либо канонизировалась на первую страницу (схлопывая инвентарь), либо не имела canonical вовсе. Не было единой политики по trailing slash — отсюда soft-дубли категорий.
Недостаточная ценность части страниц. Категории показывали только сетку товаров, карточки содержали мало описаний и характеристик, а страницы брендов и моделей почти не давали контекста. Многие комбинации фильтров повторяли содержимое родительских страниц. Это возможные причины низкой доли индексации, а не доказательство санкции Google.
Масштаб на момент аудита: 350K+ URL всего, из них 242K в статусе «Crawled — currently not indexed»; измеренный TTFB — около 534 мс. Скриншоты и выгрузки клиента в публичном кейсе не размещены, поэтому эти показатели приведены как данные аудита, а не как независимо подтверждённый результат.
Дорожная карта
1. Обход и индексация. Ограничить обход параметрических комбинаций без поисковой ценности через правила robots.txt, предварительно проверив, какие URL уже индексируются и какие сигналы Google должен увидеть. Для полезных фильтров со спросом оставить доступный путь к обходу. Path-фасеты (/aus-belgien, /neu, /4-achse) разобрать по типам: эквивалентные страницы объединить через canonical или перенаправить на подходящий аналог; востребованные уникальные страницы сохранить. В sitemap оставить канонические категории, бренды и модели с инвентарём, актуальные объявления и отобранные фильтры; <lastmod> обновлять только при существенном изменении страницы. Для объявлений без замены и полезного архивного содержания рекомендовать 404/410 и удаление из sitemap. Пустые категории разбирать по аналогичному принципу. Статические хабы и внутренние ссылки помогут находить важные страницы.
Такой подход согласуется с рекомендациями Google по фасетной навигации: правила обхода зависят от того, нужны ли конкретные фильтры в поиске. Для удалённых страниц без подходящей замены Google допускает 404 или 410.
2. Канонизация. Свёл правила в матрицу по типам URL:
| Тип URL | Рекомендуемая обработка |
|---|---|
| Карточка товара | Self-canonical на чистый URL, без трекинг-параметров |
| Категория (без параметров) | Self-canonical, trailing slash принудительно, редирект не-slash → slash |
| Пагинация | Доступный отдельный URL и canonical на себя, если страницы содержат разные товары |
| SEO-фильтры (группа A) | Self-canonical и включение в sitemap при наличии спроса, инвентаря и уникальной пользы |
| Общие параметры (группа B) | Canonical → родитель, без sitemap и внутренних ссылок |
| Path-фасеты (aus-land, neu) | Выбрать 301 для настоящего аналога или canonical для дубля; уникальные сегменты оценить отдельно |
| Истёкшие объявления | 404/410 при отсутствии замены и полезного архивного содержания, убрать из sitemap |
Страновые фильтры не стоит закрывать одним правилом: часть может отвечать самостоятельному спросу. Для каждой группы я предложил выбрать один основной сигнал — индексируемую страницу, canonical на эквивалент или исключение из индекса — и согласовать с ним sitemap и внутренние ссылки.
Для страниц пагинации с разным набором товаров Google рекомендует собственный URL и canonical для каждой страницы, а не canonical всех страниц на первую.
3. Контент. Карточкам нужны уникальные характеристики и описание товара, качественные фотографии, локация и понятный H1. Категориям — краткое объяснение ассортимента и переходы к подкатегориям; брендам и моделям — контекст, серии и связи с предложениями. Объём текста определяется задачей страницы, а не обязательной нормой слов. Автоматические комбинации без самостоятельной пользы не следует «оживлять» шаблонным текстом.
4. Структурированные данные. Подготовил матрицу разметки по шаблонам: товар и предложение на подходящих карточках, BreadcrumbList для иерархии, Organization для компании. Разметка должна соответствовать видимым данным страницы и требованиям конкретного поискового формата; сама по себе она не гарантирует расширенный результат. Требования Google к Product-разметке относятся прежде всего к страницам конкретных товаров.
5. Доступность фактов для поиска и AI-ответов. Предложил краткие фактические блоки над листингами, ясную иерархию заголовков и доступность ключевых характеристик в исходном HTML: цена, пробег, топливо, мощность, год и страна. Отдельно — прозрачные сведения о продавце и источниках данных. Это делает информацию понятнее для посетителей и систем, которые её извлекают; попадание в AI-ответы не гарантируется.
6. Инфраструктура. Проверить кеширование категорий и листингов, доставку изображений через CDN и Core Web Vitals на приоритетных мобильных страницах. Целевые пороги скорости команда определяет после замеров по типам шаблонов.
Как проверять эффект после внедрения
- После технического деплоя: проверить долю обхода важных и бесполезных URL по логам, очистку sitemap и корректность ответов сервера.
- После повторного обхода Google: сравнить индексацию приоритетных категорий, карточек и выбранных фильтров по одинаковым сегментам.
- По мере публикации контента: отслеживать видимость, поисковые переходы и действия посетителей на целевых страницах.
Сроки и величина эффекта неизвестны до внедрения и повторных замеров. Этот кейс описывает аудит и план, а не уже полученный рост трафика или лидов.
Итого: что дал аудит
- Диагностику трёх связанных ограничений, которые могли влиять на индексацию каталога из 350K+ URL.
- Стратегию канонизации для сложной фасетной навигации — и path-, и параметрической.
- Правила отбора URL для sitemap вместо полной описи каталога.
- План по глубине контента для тонких категорий, брендов и карточек.
- Матрицу структурированных данных и план готовности к AI-поиску.
- Приоритетную дорожную карту с задачами для команды и критериями проверки после внедрения.
Если у вас крупный каталог или маркетплейс, где Google обходит страницы, но не индексирует их, опишите задачу через форму. Начнём с аудита краулингового бюджета и канонизации приоритетных кластеров.