XPath to select string value of element but with
replaced with newline?

Question

Is it possible to call xpath normalize-space() on html with displaying <br>, <br/> as new line? XPath version is 1.0

We parse articles from websites. Example of real HTML code:

<div id="someid">
    <img src="https://habrastorage.org/webt/ej/ye/hp/ejyehp08ercmqzlhzh3um6mtukm.jpeg"><br>
    <br>
    Организовать удаленный доступ для сотрудников — задача прикладная. Решений на рынке немало, при этом, и подводных камней достаточно. Под катом рассказ о нашем «чемодане», который раскладывается быстро и удобно за 30 минут. Просьба не воспринимать это как рекламный BS, поскольку внутри реальная инструкция по применению.<a name="habracut"></a><br>
    <br>
    <a href="https://www.parallels.com/ru/products/ras/remote-application-server/">Parallels Remote Application Server</a> (RAS) — это комплексное средство для доставки виртуальных приложений и рабочих столов, позволяющее работать с приложениями и данными с любого устройства, в том числе мобильного. Мы понимаем, что такие решения хочется сначала протестировать в конкретных условиях, прежде чем принимать решение о покупке.     <br>
    <br>
</div>

Problem not in extracting text from site. Problem is that normalize-space is remove all tags include <br>. As a result we have one long text line. I need text line with breaks.

Expected result:

Организовать удаленный доступ для сотрудников — задача прикладная. Решений на рынке немало, при этом, и подводных камней достаточно. Под катом рассказ о нашем «чемодане», который раскладывается быстро и удобно за 30 минут. Просьба не воспринимать это как рекламный BS, поскольку внутри реальная инструкция по применению.

Parallels Remote Application Server(RAS) — это комплексное средство для доставки виртуальных приложений и рабочих столов, позволяющее работать с приложениями и данными с любого устройства, в том числе мобильного. Мы понимаем, что такие решения хочется сначала протестировать в конкретных условиях, прежде чем принимать решение о покупке.

1) Is there any specific reason why you want to use `normalize-space()`? 2) Do you want to get those 2 substrings as single string or as list of 2 strings? 3) Share your XPath — Andersson, Dec 21 '17 at 19:35
@Andersson 1) We need text with no html tags, but with breakpoints. 2) We can have from 1 to ∞
tags. We crawl articles. — Artem Dumanov, Dec 21 '17 at 19:39
Are you assured that `br` is the only element type in your mixed content? — kjhughes, Dec 21 '17 at 19:41
@ArtemDumanov, There is no parent tag for all those text nodes in provided piece of HTML. Can you update HTML again? — Andersson, Dec 21 '17 at 19:52
@Andersson problem not in extracting text from site. Problem is that `normalize-space` is remove all tags include `
`. As a result we have one long text line. I need text line with breaks. — Artem Dumanov, Dec 21 '17 at 20:19

score 1 · Answer 1 · answered Dec 22 '17 at 03:05

1

This XPath 2.0 expression,

string-join(
for $n in (//div[@id="someid"]//node()[self::br or self::text()]) 
    return if (name($n)='br') 
           then codepoints-to-string(10)
           else $n, '')

will join the strings of all text node descendants of the targeted div, replacing all br elements with newlines.

answered Dec 22 '17 at 03:05

kjhughes

106,133
27
181
240

I checked xpath version, and it is 1.0. Is it possible to do the same with xpath 1.0? Anyway, thanks for your response – Artem Dumanov Dec 22 '17 at 08:39
Question was tagged as XPath 2.0 when I answered. (It's since been edited.) – kjhughes Dec 22 '17 at 12:01
1

I suspect that with only XPath 1.0 you'll not be able to find a purely XPath-based solution -- will have to write code in hosting language. – kjhughes Dec 22 '17 at 12:03
So, I did it with python – Artem Dumanov Dec 22 '17 at 12:22

score 0 · Accepted Answer · answered Dec 22 '17 at 12:21

Unfortunately, I din't solve this issue with xpath. This solution is suitable for python (scrapy framework), but algorithm is the same for other languages too.

parsed_text = remove_tags(response.xpath(record['xpath_text']).extract_first())
text = re.sub(r'\n\s*\n', '\n\n' , parsed_text).strip()

XPath to select string value of element but with replaced with newline?

2 Answers2

XPath to select string value of element but with
replaced with newline?