Сайты под Cloudflare и DataDome
Cloudflare и DataDome — самые частые «привратники», на которых спотыкаются обычные парсеры. PICEX по умолчанию использует:
- puppeteer-extra-plugin-stealth — патчит навигатор так, чтобы не светить флаги headless-браузера.
- Случайный User-Agent и viewport из пула реалистичных значений.
- Полный набор Sec-Ch-Ua и Accept-Language, имитирующих десктопный Chrome.
- Ожидание challenge-страницы: если сайт показал «Just a moment…», мы держим браузер открытым до 25 секунд.
Это пропускает большинство сайтов. Те, что остались, — обычно требуют CAPTCHA. В Pro-плане появятся резидентные прокси и интеграция с CapSolver, которые добивают оставшиеся 5–10 % случаев.
Что сделать самому
- Убедитесь, что URL открывается в обычном браузере — иногда сайт уже свалил инфраструктуру и вообще никто его не парсит.
- Если получаете
504— попробуйте через минуту, наш сервер мог быть перегружен. - Если в ответе пустой массив, но картинки на сайте есть — он скорее всего рендерится через JavaScript внутри Shadow DOM. Напишите нам в поддержку, мы добавим обработчик.