Разработка · 8 мин чтения

Парсинг HTML в JavaScript: как достать текст между тегами через DOMParser

Запрос «парсинг html javascript» почти всегда сводится к одной ситуации: на руках строка с разметкой, а нужен текст из конкретных тегов, например цена из <b> или описание из абзаца. Первым в голову приходит регулярное выражение, и первые полчаса оно даже работает. Потом в разметке появляется атрибут, перенос строки или вложенный тег, и выражение молча возвращает null. В браузере для этого есть встроенный DOMParser: он строит настоящее дерево документа, и текст достаётся теми же querySelector и textContent, что и на живой странице. Ниже разберу, как это устроено, где регулярки всё же уместны, как запускать то же самое в Node.js и PHP и какие грабли встречаются на реальных страницах.

Почему регулярные выражения ломаются при разборе HTML-строки

HTML не регулярный язык: теги вкладываются друг в друга, атрибуты могут содержать символ «>», браузер прощает незакрытые теги и пропущенные кавычки. Выражение, написанное под один образец разметки, ломается на соседнем. Вот типичная попытка достать содержимое абзаца:

const html = '<p class="lead">Цена: <b>1 200</b> ₽</p>';
const match = html.match(/<p>(.*?)<\/p>/);
console.log(match); // null: у тега есть атрибут class

Выражение ищет <p> без атрибутов, а на разметке с class возвращает null. Можно поправить на <p[^>]*>, но тогда оно совпадёт и с <pre>, потому что <p там тоже есть. Так регулярка обрастает исправлениями, и каждое закрывает один случай.

Второй частый приём, удалить все теги одним replace, даёт мусор:

const html = '<p>Скидка &gt; 10%</p><script>var a = "<b>";</script>';
console.log(html.replace(/<[^>]+>/g, ''));
// Скидка &gt; 10%var a = "";

Сущность &gt; осталась как есть, а содержимое скрипта попало в текст. Регулярка не различает комментарии и теги внутри атрибутов, не декодирует &nbsp; и &amp;, а браузер к тому же считает <P> и <p> одним тегом. На страницах, структуру которых ты не контролируешь, всё это рано или поздно случается.

Регулярки годятся в двух случаях: строка целиком под твоим контролем (например, ответ собственного обработчика с фиксированным шаблоном) или нужно почистить уже извлечённый текст, скажем, схлопнуть пробелы. Всё остальное я отдаю парсеру.

DOMParser: как получить DOM-дерево из строки с HTML

DOMParser принимает строку и тип содержимого и возвращает объект Document. Для HTML тип text/html:

const html = '<article><h2>Заголовок</h2><p class="lead">Цена: <b>1 200</b> ₽</p></article>';
const doc = new DOMParser().parseFromString(html, 'text/html');
console.log(doc.querySelector('h2').textContent); // Заголовок
console.log(doc.querySelector('p.lead').textContent); // Цена: 1 200 ₽
console.log(doc.querySelector('b').textContent); // 1 200

Парсер работает по тем же правилам, что и браузер при загрузке страницы, поэтому чинит незакрытые теги и достраивает html, head и body. Для text/html исключений он не бросает: на любой мусор вернёт какое-то дерево. Ошибки разбора видны только у XML-типов вроде application/xml, там в документе появляется элемент parsererror. Если вы разбирали фрагмент, искать его надо в doc.body.

Ещё одно свойство: документ получается инертным. Скрипты из строки не выполняются, картинки не загружаются, обработчики вроде onerror не срабатывают. Если сделать то же через innerHTML у элемента на живой странице, обработчик на <img> отработает. Поэтому чужую разметку безопаснее разбирать через DOMParser.

Чем ещё можно разобрать строку в браузере

Способ Скрипты и обработчики в строке Что получаешь Когда беру
DOMParser не выполняются целый Document разбор страницы или большого фрагмента
template.innerHTML не выполняются, содержимое инертное DocumentFragment в template.content разобрать фрагмент и затем вставить его в страницу
innerHTML у элемента на странице теги script не запускаются, но onerror у img срабатывает элементы прямо в живом DOM только для своей доверенной разметки
Регулярное выражение разбора нет, работа со строкой строки и индексы шаблон целиком под моим контролем

Бесплатный материал

🎁 Полезный скрипт в подарок

Подпишитесь на Telegram - пришлю готовый скрипт по этой теме.

Без спама. Отписка в 1 клик.

Извлечение текста из HTML: textContent, соседние узлы и TreeWalker

textContent, innerText и innerHTML

У элемента несколько свойств, которые легко перепутать:

  • textContent отдаёт весь текст внутри элемента вместе с потомками, без тегов, и не зависит от вёрстки;
  • innerText учитывает отображение (скрытые элементы, переносы строк), а на документе из DOMParser, который нигде не рисуется, ведёт себя как textContent, так что смысла в нём нет;
  • innerHTML возвращает разметку внутри элемента строкой, с тегами;
  • nodeValue у текстового узла даёт его содержимое, а у элемента возвращает null.

Для готового документа я использую textContent. Единственная оговорка: содержимое script и style тоже входит в текст родителя, поэтому эти элементы удаляю первыми:

const doc = new DOMParser().parseFromString(html, 'text/html');
doc.querySelectorAll('script, style, noscript').forEach(el => el.remove());
const items = [...doc.querySelectorAll('ul.prices li')].map(li =>
  li.textContent.replace(/\s+/g, ' ').trim()
);

Регулярка \s+ здесь на своём месте: она работает уже с чистым текстом и схлопывает переносы и повторные пробелы, которые остаются от отступов в исходной вёрстке.

Текст между двумя тегами

Буквальная задача «достать текст между тегами» чаще всего выглядит как пары «подпись и значение» без обёртки вокруг значения: <b>Артикул:</b> A-1045<br>. У значения нет своего элемента, зато есть текстовый узел, и он лежит следующим соседом после подписи:

const html = '<p><b>Артикул:</b> A-1045<br><b>Цвет:</b> синий</p>';
const doc = new DOMParser().parseFromString(html, 'text/html');
const specs = {};
doc.querySelectorAll('p b').forEach(b => {
  const next = b.nextSibling;
  if (next && next.nodeType === Node.TEXT_NODE) {
    specs[b.textContent.replace(':', '')] = next.textContent.trim();
  }
});
console.log(specs); // { Артикул: 'A-1045', Цвет: 'синий' }

nextSibling возвращает следующий узел, а не следующий элемент. Если после подписи сразу идёт другой тег, соседом окажется элемент, поэтому проверка nodeType нужна. Для соседних элементов есть nextElementSibling.

Перебор всех текстовых узлов через TreeWalker

Когда структура неизвестна и нужен весь текст кусками, беру TreeWalker: он проходит по дереву и отдаёт только узлы нужного типа.

const walker = doc.createTreeWalker(doc.body, NodeFilter.SHOW_TEXT);
const chunks = [];
while (walker.nextNode()) {
  const text = walker.currentNode.nodeValue.trim();
  if (text) chunks.push(text);
}
console.log(chunks);

В массиве окажутся отдельные строки без тегов, в порядке следования в документе. Так удобно, например, собирать абзацы статьи в список или искать в тексте номера телефонов.

Парсинг HTML из fetch: страницы своего сайта и чужие

Строка разметки чаще всего приходит из fetch. Схема короткая: получить текст ответа и отдать его парсеру.

async function getHeadings(url) {
  const response = await fetch(url);
  if (!response.ok) throw new Error('HTTP ' + response.status);
  const html = await response.text();
  const doc = new DOMParser().parseFromString(html, 'text/html');
  return [...doc.querySelectorAll('h2')].map(h => h.textContent.trim());
}
getHeadings('/blog/').then(console.log);

На Tilda-проектах такая связка выручала, когда на одну страницу нужно подтянуть заголовки и описания с других страниц того же домена: запрос идёт на тот же origin, и CORS не мешает. Скрипт целиком лежит в блоке с HTML-кодом, никакого сервера не требуется.

Чужой сайт из браузерного скрипта обычно не прочитать: сервер должен разрешить запрос заголовком Access-Control-Allow-Origin. Если разрешения нет, запрос выполняют со стороны сервера и уже там разбирают ответ. В любом варианте я работаю только с открытыми данными, смотрю robots.txt и ставлю паузы между запросами, чтобы не создавать нагрузку на чужой сайт.

Если сценарий живёт в n8n, писать DOMParser не приходится: там есть нода HTML, в которой указываешь CSS-селектор и получаешь текст элемента.

Парсинг HTML на сервере: jsdom, PHP DOMDocument и Python

В Node.js глобального DOMParser нет, нужна библиотека. Ближе всего по интерфейсам jsdom:

npm install jsdom

import { JSDOM } from 'jsdom';
const dom = new JSDOM('<h1>Заголовок</h1><p>Текст <b>абзаца</b></p>');
const doc = dom.window.document;
console.log(doc.querySelector('p').textContent); // Текст абзаца

Этот пример рассчитан на ES-модули, то есть в package.json должно быть "type": "module". Дальше работает всё, что описано выше: querySelectorAll, textContent, nextSibling. Только NodeFilter для TreeWalker берётся из dom.window.NodeFilter, потому что в самом Node.js такого глобального объекта нет. Из более лёгких вариантов есть cheerio с синтаксисом в духе jQuery.

Если сайт на Tilda или WordPress и обработчик стоит на обычном хостинге, хватает PHP: расширение DOM обычно включено, а отдельный сервер под разбор разметки не нужен.

libxml_use_internal_errors(true);
$doc = new DOMDocument();
$doc->loadHTML('<?xml encoding="UTF-8">' . $html);
$xpath = new DOMXPath($doc);
foreach ($xpath->query('//p[@class="lead"]') as $node) {
    echo trim($node->textContent);
}

Первая строка гасит предупреждения libxml на HTML5-тегах, а префикс <?xml encoding="UTF-8"> нужен, чтобы кириллица не превратилась в кракозябры.

Python я беру, когда страниц много: нужны очередь, повторные попытки, хранение результата и расписание, а BeautifulSoup с lxml удобно разбирает большие объёмы. Это уже отдельная задача, и под неё я делаю парсеры и автоматизацию сбора данных. Учти, что для такого воркера нужен отдельный сервер: его надо настроить, обновлять и оплачивать каждый месяц, а на обычном хостинге сайта Python-процесс, как правило, не запустить.

Ошибки при разборе HTML-строки, на которые я натыкался

  • Кодировка. response.text() читает ответ как UTF‑8. Старые российские сайты нередко отдают windows-1251, и вместо текста получаются знаки вопроса. Решение: читать байты и декодировать явно.
  • Контент, который дорисовывает скрипт. fetch получает исходный HTML до выполнения JavaScript. Если нужных данных в ответе нет, ищу в сетевых запросах страницы JSON-эндпоинт, из которого она их берёт, а в крайнем случае использую браузер без интерфейса.
  • Относительные ссылки. У документа из DOMParser адрес совпадает с адресом текущей страницы, а не той, что загружена через fetch. Свойство a.href даст неверный адрес, поэтому ссылку собираю вручную.
  • null из querySelector. Разметка сайта меняется, и селектор перестаёт находить элемент. Пишу doc.querySelector('.price')?.textContent и заранее решаю, что делать с пустым значением.
  • Вставка результата на страницу. DOMParser ничего не очищает от опасных атрибутов. Текст вставляю через textContent, а не через innerHTML.

Первые две ошибки лечатся так:

const buffer = await response.arrayBuffer();
const html = new TextDecoder('windows-1251').decode(buffer);
const href = new URL(a.getAttribute('href'), pageUrl).href;

Возможности DOMParser и jsdom меняются, поэтому перед внедрением я сверяюсь с документацией MDN и репозиторием jsdom.

Частые вопросы

Можно ли парсить HTML регулярными выражениями?

Можно, если разметка целиком под вашим контролем и шаблон не меняется, например ответ собственного обработчика. На чужих страницах регулярка ломается на атрибутах, вложенных тегах, комментариях и сущностях. Для таких случаев надёжнее DOMParser и селекторы.

Чем textContent отличается от innerText?

textContent возвращает весь текст элемента вместе со скрытыми частями и содержимым script и style, не учитывая вёрстку. innerText учитывает отображение: скрытые элементы пропускает, переносы строк расставляет по стилям. У документа из DOMParser нет отображения, поэтому там я использую textContent.

Почему DOMParser не работает в Node.js?

DOMParser часть браузерного API, в самом Node.js его нет. Нужна библиотека с реализацией DOM, например jsdom, либо cheerio, если хватает синтаксиса в духе jQuery. В PHP то же делают через DOMDocument и DOMXPath.

Как получить HTML чужой страницы из браузерного скрипта?

Через fetch это возможно, только если сервер разрешает запрос заголовком Access-Control-Allow-Origin. Без разрешения запрос выполняют на стороне сервера, а в браузер отдают уже готовый результат. Страницы своего домена читаются без ограничений.

Есть задача?

Обсудим в мессенджере

Расскажите, что нужно сделать — отвечу в течение 4 часов в рабочее время. Первая консультация бесплатно.

Продолжая пользование настоящим сайтом Вы выражаете своё согласие на обработку Ваших персональных данных (файлов куки) с использованием Yandex.Metrika.
Понятно