Мобильные user-agent 2024
Иногда нужно парсить данные с мобильной версии сайта. Сайт сам определяет, с какого устройства на него зашли. Зачастую сайт определяет по user-agent браузера. У мобильных…
Полезные регулярные выражения (regexp). Часть 2
Продолжаем тему регулярок, которых многие боятся ) Пред дальнейшим прочтением рекомендую ознакомиться с прошлым материалом. 1. Получаем ссылку на видео с вставки ютуб. Видео имеет обычно…
Полезные регулярные выражения (regexp). Часть 1
Для многих это, как оказалось, очень сложная тема и темный лес ) Многие их боятся. Но стоит попробовать их использовать и через некоторое время Вы…
This version of ChromeDriver only supports Chrome version XX
При парсинге с Datacol с помощью плагина Хрома - D5Plugin_Chrome Вы можете получить ошибку такого рода: Ошибка загрузки : session not created: This version of…
Настройка email уведомлений в Datacol
Очень часто на форуме задают вопросы по настройке отправки уведомлений в Datacol. Такие уведомления отправляются по окончании работы проекта или при сбоях в работе. Сейчас…
Решение ReCaptca с Датакол
Ранее я уже писал, как можно в ручном режиме решить рекапчу от Гугл в Датакол. Но вскоре встроенный браузер Datacol перестал с ней справляться и…
Импорт в базу данных MYSQL
Рассмотрим импорт данных с помощью Datacol напрямую в базу данных MYSQL, типы данных и создание таблицы.
Работа со строками в полях с динамическим плагином. Часть 1
Иногда нужно совершить некоторые действия со строками, т.е с полученными данными, которые нельзя сделать заменами. Или можно, но не всегда это удобно. В Датакол со…
Сбор стартовых URL без подбора XPATH
Часто приходится собирать данные с нескольких стартовых URL. Если их не много, то можно просто скопировать и вставить. Но бывает, что их 10, 20 и…
Проблемы со сбором ссылок
Две самые основные проблемы сбора ссылок в Датакол: Наличие пробела в ссылке Не корректная относительная пагинация 1. Наличие пробелов в УРЛ у меня как-то само…