Разработчик опубликовал в официальном репозитории NuGet новую высокопроизводительную библиотеку z3l.FastHtmlParser для платформы .NET, предназначенную для синтаксического анализа веб-страниц. Инструмент создан на основе многолетнего опыта разработки систем сбора данных с торговых площадок, сайтов с объявлениями и каталогов товаров. Оформить внутренний проект в полноценное открытое решение автору помогли технологии искусственного интеллекта, доработавшие тестовое покрытие и документацию.
Причиной создания нового парсера стали ограничения существующих популярнейших библиотек AngleSharp и HtmlAgilityPack. Эти инструменты проектировались как решения браузерного уровня с поддержкой полного DOM-дерева. Они создают отдельные объекты для каждого элемента разметки, достраивают неявные теги и поддерживают сложные структуры для мутаций и обхода с помощью CSS-селекторов, что заставляет процессор выполнять массу лишней работы.
В условиях высоконагруженного сбора данных, когда сервисы обрабатывают миллионы страниц ежедневно, генерация полнофункционального DOM приводит к колоссальным накладным расходам. Для задачи извлечения конкретных значений атрибутов или текста полнота браузерного представления оказывается не нужной. Создание ненужных объектов перегружает сборщик мусора платформы и приводит к постоянным лишним аллокациям памяти.
В z3l.FastHtmlParser предложена концептуально иная архитектура: документ рассматривается не как граф узлов, а как оптимизированный список кусков исходной строки. Отказ от построения DOM позволил сократить расход ресурсов и ускорить обработку разметки в 10–30 раз по сравнению со стандартными решениями без потери точности извлечения нужных данных.
Тестирование библиотеки проводилось в средах BenchmarkDotNet на платформе .NET 10 и сервере под управлением Windows Server 2025. На реальных страницах из открытых источников z3l.FastHtmlParser продемонстрировал многократное превосходство в скорости и экономии ресурсов над AngleSharp 1.10.0 и HtmlAgilityPack 1.13.1. Разработка будет особенно полезна инженерам, создающим масштабируемые парсеры и поисковые роботы.




Подписаться
Уведомления о новых комментариях пока не подключены.
Пожалуйста, войдите, чтобы прокомментировать
0 комментариев