Запрос «парсинг html javascript» почти всегда сводится к одной ситуации: на руках строка с разметкой, а нужен текст из конкретных тегов, например цена из <b> или описание из абзаца. Первым в голову приходит регулярное выражение, и первые полчаса оно даже работает. Потом в разметке появляется атрибут, перенос строки или вложенный тег, и выражение молча возвращает null. В браузере для этого есть встроенный DOMParser: он строит настоящее дерево документа, и текст достаётся теми же querySelector и textContent, что и на живой странице. Ниже разберу, как это устроено, где регулярки всё же уместны, как запускать то же самое в Node.js и PHP и какие грабли встречаются на реальных страницах.
Почему регулярные выражения ломаются при разборе HTML-строки
HTML не регулярный язык: теги вкладываются друг в друга, атрибуты могут содержать символ «>», браузер прощает незакрытые теги и пропущенные кавычки. Выражение, написанное под один образец разметки, ломается на соседнем. Вот типичная попытка достать содержимое абзаца:
const html = '<p class="lead">Цена: <b>1 200</b> ₽</p>';
const match = html.match(/<p>(.*?)<\/p>/);
console.log(match); // null: у тега есть атрибут class
Выражение ищет <p> без атрибутов, а на разметке с class возвращает null. Можно поправить на <p[^>]*>, но тогда оно совпадёт и с <pre>, потому что <p там тоже есть. Так регулярка обрастает исправлениями, и каждое закрывает один случай.
Второй частый приём, удалить все теги одним replace, даёт мусор:
const html = '<p>Скидка > 10%</p><script>var a = "<b>";</script>';
console.log(html.replace(/<[^>]+>/g, ''));
// Скидка > 10%var a = "";
Сущность > осталась как есть, а содержимое скрипта попало в текст. Регулярка не различает комментарии и теги внутри атрибутов, не декодирует и &, а браузер к тому же считает <P> и <p> одним тегом. На страницах, структуру которых ты не контролируешь, всё это рано или поздно случается.
Регулярки годятся в двух случаях: строка целиком под твоим контролем (например, ответ собственного обработчика с фиксированным шаблоном) или нужно почистить уже извлечённый текст, скажем, схлопнуть пробелы. Всё остальное я отдаю парсеру.
DOMParser: как получить DOM-дерево из строки с HTML
DOMParser принимает строку и тип содержимого и возвращает объект Document. Для HTML тип text/html:
const html = '<article><h2>Заголовок</h2><p class="lead">Цена: <b>1 200</b> ₽</p></article>';
const doc = new DOMParser().parseFromString(html, 'text/html');
console.log(doc.querySelector('h2').textContent); // Заголовок
console.log(doc.querySelector('p.lead').textContent); // Цена: 1 200 ₽
console.log(doc.querySelector('b').textContent); // 1 200
Парсер работает по тем же правилам, что и браузер при загрузке страницы, поэтому чинит незакрытые теги и достраивает html, head и body. Для text/html исключений он не бросает: на любой мусор вернёт какое-то дерево. Ошибки разбора видны только у XML-типов вроде application/xml, там в документе появляется элемент parsererror. Если вы разбирали фрагмент, искать его надо в doc.body.
Ещё одно свойство: документ получается инертным. Скрипты из строки не выполняются, картинки не загружаются, обработчики вроде onerror не срабатывают. Если сделать то же через innerHTML у элемента на живой странице, обработчик на <img> отработает. Поэтому чужую разметку безопаснее разбирать через DOMParser.
Чем ещё можно разобрать строку в браузере
| Способ | Скрипты и обработчики в строке | Что получаешь | Когда беру |
|---|---|---|---|
| DOMParser | не выполняются | целый Document | разбор страницы или большого фрагмента |
| template.innerHTML | не выполняются, содержимое инертное | DocumentFragment в template.content | разобрать фрагмент и затем вставить его в страницу |
| innerHTML у элемента на странице | теги script не запускаются, но onerror у img срабатывает | элементы прямо в живом DOM | только для своей доверенной разметки |
| Регулярное выражение | разбора нет, работа со строкой | строки и индексы | шаблон целиком под моим контролем |
Бесплатный материал
🎁 Полезный скрипт в подарок
Подпишитесь на Telegram - пришлю готовый скрипт по этой теме.
Без спама. Отписка в 1 клик.
Извлечение текста из HTML: textContent, соседние узлы и TreeWalker
textContent, innerText и innerHTML
У элемента несколько свойств, которые легко перепутать:
textContentотдаёт весь текст внутри элемента вместе с потомками, без тегов, и не зависит от вёрстки;innerTextучитывает отображение (скрытые элементы, переносы строк), а на документе из DOMParser, который нигде не рисуется, ведёт себя какtextContent, так что смысла в нём нет;innerHTMLвозвращает разметку внутри элемента строкой, с тегами;nodeValueу текстового узла даёт его содержимое, а у элемента возвращаетnull.
Для готового документа я использую textContent. Единственная оговорка: содержимое script и style тоже входит в текст родителя, поэтому эти элементы удаляю первыми:
const doc = new DOMParser().parseFromString(html, 'text/html');
doc.querySelectorAll('script, style, noscript').forEach(el => el.remove());
const items = [...doc.querySelectorAll('ul.prices li')].map(li =>
li.textContent.replace(/\s+/g, ' ').trim()
);
Регулярка \s+ здесь на своём месте: она работает уже с чистым текстом и схлопывает переносы и повторные пробелы, которые остаются от отступов в исходной вёрстке.
Текст между двумя тегами
Буквальная задача «достать текст между тегами» чаще всего выглядит как пары «подпись и значение» без обёртки вокруг значения: <b>Артикул:</b> A-1045<br>. У значения нет своего элемента, зато есть текстовый узел, и он лежит следующим соседом после подписи:
const html = '<p><b>Артикул:</b> A-1045<br><b>Цвет:</b> синий</p>';
const doc = new DOMParser().parseFromString(html, 'text/html');
const specs = {};
doc.querySelectorAll('p b').forEach(b => {
const next = b.nextSibling;
if (next && next.nodeType === Node.TEXT_NODE) {
specs[b.textContent.replace(':', '')] = next.textContent.trim();
}
});
console.log(specs); // { Артикул: 'A-1045', Цвет: 'синий' }
nextSibling возвращает следующий узел, а не следующий элемент. Если после подписи сразу идёт другой тег, соседом окажется элемент, поэтому проверка nodeType нужна. Для соседних элементов есть nextElementSibling.
Перебор всех текстовых узлов через TreeWalker
Когда структура неизвестна и нужен весь текст кусками, беру TreeWalker: он проходит по дереву и отдаёт только узлы нужного типа.
const walker = doc.createTreeWalker(doc.body, NodeFilter.SHOW_TEXT);
const chunks = [];
while (walker.nextNode()) {
const text = walker.currentNode.nodeValue.trim();
if (text) chunks.push(text);
}
console.log(chunks);
В массиве окажутся отдельные строки без тегов, в порядке следования в документе. Так удобно, например, собирать абзацы статьи в список или искать в тексте номера телефонов.
Парсинг HTML из fetch: страницы своего сайта и чужие
Строка разметки чаще всего приходит из fetch. Схема короткая: получить текст ответа и отдать его парсеру.
async function getHeadings(url) {
const response = await fetch(url);
if (!response.ok) throw new Error('HTTP ' + response.status);
const html = await response.text();
const doc = new DOMParser().parseFromString(html, 'text/html');
return [...doc.querySelectorAll('h2')].map(h => h.textContent.trim());
}
getHeadings('/blog/').then(console.log);
На Tilda-проектах такая связка выручала, когда на одну страницу нужно подтянуть заголовки и описания с других страниц того же домена: запрос идёт на тот же origin, и CORS не мешает. Скрипт целиком лежит в блоке с HTML-кодом, никакого сервера не требуется.
Чужой сайт из браузерного скрипта обычно не прочитать: сервер должен разрешить запрос заголовком Access-Control-Allow-Origin. Если разрешения нет, запрос выполняют со стороны сервера и уже там разбирают ответ. В любом варианте я работаю только с открытыми данными, смотрю robots.txt и ставлю паузы между запросами, чтобы не создавать нагрузку на чужой сайт.
Если сценарий живёт в n8n, писать DOMParser не приходится: там есть нода HTML, в которой указываешь CSS-селектор и получаешь текст элемента.
Парсинг HTML на сервере: jsdom, PHP DOMDocument и Python
В Node.js глобального DOMParser нет, нужна библиотека. Ближе всего по интерфейсам jsdom:
npm install jsdom
import { JSDOM } from 'jsdom';
const dom = new JSDOM('<h1>Заголовок</h1><p>Текст <b>абзаца</b></p>');
const doc = dom.window.document;
console.log(doc.querySelector('p').textContent); // Текст абзаца
Этот пример рассчитан на ES-модули, то есть в package.json должно быть "type": "module". Дальше работает всё, что описано выше: querySelectorAll, textContent, nextSibling. Только NodeFilter для TreeWalker берётся из dom.window.NodeFilter, потому что в самом Node.js такого глобального объекта нет. Из более лёгких вариантов есть cheerio с синтаксисом в духе jQuery.
Если сайт на Tilda или WordPress и обработчик стоит на обычном хостинге, хватает PHP: расширение DOM обычно включено, а отдельный сервер под разбор разметки не нужен.
libxml_use_internal_errors(true);
$doc = new DOMDocument();
$doc->loadHTML('<?xml encoding="UTF-8">' . $html);
$xpath = new DOMXPath($doc);
foreach ($xpath->query('//p[@class="lead"]') as $node) {
echo trim($node->textContent);
}
Первая строка гасит предупреждения libxml на HTML5-тегах, а префикс <?xml encoding="UTF-8"> нужен, чтобы кириллица не превратилась в кракозябры.
Python я беру, когда страниц много: нужны очередь, повторные попытки, хранение результата и расписание, а BeautifulSoup с lxml удобно разбирает большие объёмы. Это уже отдельная задача, и под неё я делаю парсеры и автоматизацию сбора данных. Учти, что для такого воркера нужен отдельный сервер: его надо настроить, обновлять и оплачивать каждый месяц, а на обычном хостинге сайта Python-процесс, как правило, не запустить.
Ошибки при разборе HTML-строки, на которые я натыкался
- Кодировка.
response.text()читает ответ как UTF‑8. Старые российские сайты нередко отдают windows-1251, и вместо текста получаются знаки вопроса. Решение: читать байты и декодировать явно. - Контент, который дорисовывает скрипт.
fetchполучает исходный HTML до выполнения JavaScript. Если нужных данных в ответе нет, ищу в сетевых запросах страницы JSON-эндпоинт, из которого она их берёт, а в крайнем случае использую браузер без интерфейса. - Относительные ссылки. У документа из DOMParser адрес совпадает с адресом текущей страницы, а не той, что загружена через
fetch. Свойствоa.hrefдаст неверный адрес, поэтому ссылку собираю вручную. - null из querySelector. Разметка сайта меняется, и селектор перестаёт находить элемент. Пишу
doc.querySelector('.price')?.textContentи заранее решаю, что делать с пустым значением. - Вставка результата на страницу. DOMParser ничего не очищает от опасных атрибутов. Текст вставляю через
textContent, а не черезinnerHTML.
Первые две ошибки лечатся так:
const buffer = await response.arrayBuffer();
const html = new TextDecoder('windows-1251').decode(buffer);
const href = new URL(a.getAttribute('href'), pageUrl).href;
Возможности DOMParser и jsdom меняются, поэтому перед внедрением я сверяюсь с документацией MDN и репозиторием jsdom.
Частые вопросы
Можно ли парсить HTML регулярными выражениями?
Можно, если разметка целиком под вашим контролем и шаблон не меняется, например ответ собственного обработчика. На чужих страницах регулярка ломается на атрибутах, вложенных тегах, комментариях и сущностях. Для таких случаев надёжнее DOMParser и селекторы.
Чем textContent отличается от innerText?
textContent возвращает весь текст элемента вместе со скрытыми частями и содержимым script и style, не учитывая вёрстку. innerText учитывает отображение: скрытые элементы пропускает, переносы строк расставляет по стилям. У документа из DOMParser нет отображения, поэтому там я использую textContent.
Почему DOMParser не работает в Node.js?
DOMParser часть браузерного API, в самом Node.js его нет. Нужна библиотека с реализацией DOM, например jsdom, либо cheerio, если хватает синтаксиса в духе jQuery. В PHP то же делают через DOMDocument и DOMXPath.
Как получить HTML чужой страницы из браузерного скрипта?
Через fetch это возможно, только если сервер разрешает запрос заголовком Access-Control-Allow-Origin. Без разрешения запрос выполняют на стороне сервера, а в браузер отдают уже готовый результат. Страницы своего домена читаются без ограничений.