Xpath в Datacol: продвинутый уровень. Часть 1

Основа работы с данными и ссылками в Датакол лежит в Xpath. Именно с помощью него, в большинстве случаев, мы подбираем ссылки на категории, товары, пагинацию, собираем данные со страницы. Есть конечно же и регулярные выражения, для более проблематичных случаев, но в большинстве случаев можно обойтись с помощью Xpath.
Сейчас я расскажу Вам некоторые тонкости и секреты в работе с Xpath которые помогут Вам в работе.

1. Нам нужно спарсить текст с тега у которого несколько классов или класс/id не постоянные. Например:

<h1 class"product_12345">Текст</h1>

Цифры в классе "product_12345" меняются в зависимости от страницы с товаров. Тогда нам поможет оператор contains:

//h1[contains(@class, 'product_')]

Этот оператор позволит искать не точное соответствие, а его вхождение. В кавычках указываем постоянную часть, в нашем случае 'product_'.
P.S после знака @ не обязательно должен быть id или class, вы можете использовать любой атрибут, который есть в теге. К примеру, если это ссылка, то можете также искать вхождение. Например:
http://site.com/catalog1/product_12345.html
Нам нужно собрать все ссылки у которых встречается "catalog1"

//a[contains(@href, 'catalog1')]

и также аналогично вы можете использовать любой другой атрибут тега: src, data-*, itemprop, alt ...

2. Нужно собрать данные с тега который НЕ содержит какйо-то атрибут.  К примеру

<table class="table">
<tr>
<td class="title">data1</td.
<td>data2</td>
</tr>
</table>

Нужно взять данные data2, т.е с тегов td, которые не содержат class. В этом нам поможет оператор not:

//table//td[not(@class)]

т.е выберет все td у которых нет атрибута class
или

//table//td[not(@class, "title")]

если нужно привязаться к конкретному классу

3. Чтобы получить элемент по порядковому номеру нужно к xpath добавить номер элемента, например [2]. Рассмотрим пример

<ul>
<li>значение 1</li>
<li>значение 2</li>
<li>значение 3</li>
</ul>

Нам нужно взять второй li

//ul/li[2]

Если нужно взять последний элемент, то

//ul/li[last()]

4. Часто на сайтах встречается javascript пагинация. Датакол позволяет нам собирать данные в таким случае. Это делается с помощью сценария. Пример http://web-data-extractor.net/video-training/datacol-instruction-obrabotka-javascript-paginacii/
НО есть одно НО, не всегда есть ссылка на следующую страницу. Часто есть просто список страниц 1, 2, 3, 4, 5 ... и как нажать на следующую?
Как пример http://fedresurs.ru/messages/IsSearching
Суть решения состоит в определении текущего элемента и выборе следующего. Для этого применяем такую конструкцию:

//li[@class="active"]/following-sibling::li[1]/a

Разберем ее, мы берем текущий активный элемент, в данном случае у него class=active. Далее оператор following-sibling. Пример его использования можно посмотреть тут http://tinman.cs.gsu.edu/~raj/8711/sp04/xpath/Output_rus/example15.html
Если коротко, то он выбирает теги которые идут за текущим, li[1]/a указывает что это должен быть именно следующий (первый) тег li с вложенным тегом a.

5. Выбор элементов с привязкой к тексту. Это подходит к такому шаблону, параметр > значение, который часто применяется в интернет магазинах в характеристиках или в объявлениях. Возьмем к примеру Яндекс.Маркет, https://market.yandex.ru/product/14018528/spec
Скажем нам нужно получить значение параметра Тип, т.е "фитнес-браслет".

- открываем пикер
- кликаем левой кнопкой мыши на "фитнес-браслет", подберется xpath
- далее кликайте правой кнопкой мыши по тексту "Тип" и выбирайте "Привязка к соседним элементам" > "По тексту"

Получим xpath

//dl[dt[@class='product-spec__name']/span[@class='product-spec__name-inner']='Тип']//dd[@class='product-spec__value']/span[@class='product-spec__value-inner']

Два основных момента здесь:

1) ='Тип', т.е если у тега есть текстовое значение, то можем к нему привязаться.
2) //dd, т.е нет привязки именно к следующему элементу, // означает что это может быть элемент любой вложенности

Приведу пример по проще

<div>
<div class="name">Тип1</div>
<span>Значение1</span>
</div>

Xpath:

//div[div[@class="name"]='Тип1']

Также еще можем найти конкретное значение следующей конструкцией

//div[text() = 'Тип1']

6. Если вам нужно получить тег у которого есть определенный атрибут, например атрибут target

<div>
<div class="name">Тип1</div>
<span><a target="_blank" href="/link1.html">Значение1</a></span>
<span><a href="/link2.html">Значение2</a></span>
</div>

Тут вам поможет такой xpath

//a/@target

Так вы получите сслылку <a target="_blank" href="/link1.html">Значение1</a>

7. Встречаются сайты у которых одни и те же данные представлены в разной структуре. Например каталоги компаний, у одних стандартный шаблон, у других платный шаблон. Также может быть карточка товара, у одного товара обычная цены, у другого акционная.
Для этого в настройках поля Датакол, просто укажите несколько xpath, каждый с новой строки. Если Датакол не найдет первый, то перейдет ко второму.
P.S сначала Датакол ищет по xpath, затем по регулярным выражениям. Т.е если xpath несколько, то сначала переберет их, если не найдет совпадения, то затем перейдет к regex. В любом случае, он выдаст тот элемент, который совпадет первым.
P.P.S чтобы найти абсолютно все совпадения, поле нужно сделать статическим.

Думаю на первый раз хватит ) Задавайте свои вопросы/предложения в комментариях. Буду рад ответить.