Сайт может открываться в браузере, отдавать 200 OK и рендериться без единой ошибки, но ChatGPT, Claude и Perplexity ни разу не сослались на его контент. Автор материала на Хабре отмечает: первое, на что обычно грешат, — качество текста или SEO-разметку, но причина чаще на уровень ниже — боты этих систем физически не получают ту страницу, которую видит пользователь.
Проверка доступности сайта для ИИ-ботов через curl занимает около пяти минут. Такой тест позволяет отделить проблемы доставки контента от проблем самого материала. Если ChatGPT, Claude или Perplexity не получают страницу, ссылки на неё в ответах не появятся, даже при корректном 200 OK в браузере.
Владельцам сайтов практический шаг — проверить через curl, что сервер отдаёт при запросе, имитирующем бота. Это помогает понять, нужно ли менять настройки на уровне сервера, а не только текст или метаданные. Пять минут на такую проверку могут объяснить, почему нейросети игнорируют контент, который в браузере выглядит исправным.