что нужно знать новичкам OTUS
2026-03-10 00:35 Diff
https://otus.ru/journal/parsing-v-php-chto-nuzhno-znat-novichkam/6-6-2/

Серверная разработка требует от программиста определенного спектра знаний и навыков. Весьма полезным покажется парсер. Главное разобраться, каким образом его реализовать на PHP.

Статья расскажет о том, что такое парсинг, для чего он нужен и как функционирует. В ней будут приведены наглядные примеры, которые пригодятся для любого URL при веб-разработке.

Parsing – это…

Парсер – программное обеспечение, которое осуществляет анализ входных текстовых сведений. После этого занимается извлечением необходимой информации, на основе которых будет производиться результат в заранее заданном формате.

На PHP parser работает так:

  • скрипт создает запрос по URL;
  • осуществляется получение ответа от сервера в виде HTML или ином текстовом формате;
  • сведения анализируются;
  • из электронных материалов URL извлекаются (парсятся) нужные элементы;
  • формируется и выводится результат.

Итог можно записывать в файлы и базы данных, а также непосредственно выводить на дисплей устройства.

Для чего необходим

При изучении парсеров в PHP стоит выяснить, для чего они вообще нужны. Подобное программное обеспечение:

  1. Автоматизируют информацию в пределах URL.
  2. Собирают и обрабатывают большие объемы данных.
  3. Сравнивают содержимое страниц с заданными параметрами. Пример – поисковые системы.
  4. Помогают организовывать спам-рассылку.

А еще парсером на PHP можно наполнять собственные веб-ресурсы «чужим» контентом. Подобные проекты стараются блокировать, но это не всегда выходит быстро.

Parser избавляет от перепечатывания информации однотипного характера. Пример – наполнение интернет-магазина тем или иным товаром.

Основа функционирования

Если мы парсим текст, не стоит думать, что парсер будет его читать. Соответствующее ПО:

  • получает набор команд и инструкций от разработчика;
  • считывает слова;
  • сравнивает то, что обнаружено в Сети согласно заданным принципам.

Далее происходит непосредственная обработка. То, как робот ведет себя с информацией командной строки, носит название регулярного выражения. В русском языке также встречается в виде понятий «маски» и «шаблоны».

Для того, чтобы парсер воспринимал регулярные выражения, он должен быть составлен на языке, который поддерживает оные при использовании строк. PHP – один из вариантов, который пользуется спросом.

Регулярные выражения для URL прописываются через синтаксис Unix. Он уже устарел и редко применяется на практике при разработке софта. Но за счет свойств обратной совместимости по сей день Юникс задействован программистами и системными администраторами.

За счет Unix можно регулировать активность parsing. В зависимости от соответствующего значения будет меняться длина строки, копируемой с веб-страницы. Сверхжадный парсинг может считывать весь контент, а также HTML-кодификацию и внешние таблицы CSS.

Почему PHP

PHP – язык программирования, который используется для работы с веб-контентом. Позволяет создавать разнообразный софт: от бизнес-аналитики до игр. Его функции позволяют контактировать с парсерами максимально комфортно:

  1. Наличие библиотеки libcurl. Она отвечает за подключение скрипта ко всем видам серверов (даже при работе с http протоколами).
  2. Поддержка регулярных выражений. За их счет парсер осуществляет обработку информации.
  3. Наличие библиотеки DOM, используемой для работы с XML-расширяемым языком разметки текста. Он пригодится при выводе результатов обработки информации.
  4. Высокая совместимость с HTML.

При запуске URL сайта и внедрения парсера PHP станет настоящим спасением. Это не слишком сложный, но очень мощный язык.

Parse URL – особенности

Parse_url – функция, которая разбирает URL, а затем осуществляет возврат его компонентов. Применяется в PHP 4, 5, 7.

Стоит запомнить ее следующие особенности:

  • mixed parse_url (string $url [int $component = -1]) – функция, которая разбирает URL и возвращает ассоциативный массив со всеми компонентами соответствующего адрес в Сети;
  • не позволяет проверять корректность URL;
  • разбивает адрес на части.

Parse_url старается разобрать частичные URL предельно корректно.

О параметрах

У рассматриваемой функции есть несколько параметров. Первый – URL.. Это – адрес для разбора. Символы, которые воспринимаются парсером как недопустимые, будут заменяться на подчеркивание.

Component – возможность считывания конкретного элемента адреса в виде строчки. Исключение – php_url_port. Этот вариант предусматривает возврат значения int.

Возвращаемые значения

Если URLs значительно некорректные, парсер может вернуть значение False. Когда component опускается, функция будет возвращать ассоциативный массив. В нем расположен хотя бы один элемент.

В массиве ассоциативного характера (array) могут встречаться такие ключи:

  • scheme – пример: http;
  • port;
  • host;
  • pass;
  • user;
  • query – после знака вопроса;
  • fragment – после знака «решетка».

При определении component функция parse_url() вернет строчку или число вместо массива. Когда запрошенный элемент отсутствует в URL, «операция» возвращает значение null (пусто, ничего).

Наглядные примеры – CURL и phpQuery

Если нужно осуществить парсинг сайта, можно использовать для этого библиотеку CURL. Второй вариант – phpQuery, который представлен аналогом jQuery для PHP. Каждый подход имеет собственные преимущества.

Предварительная подготовка

Парсинг на сайте (ru) может быть проведен при помощи функции file_get_content. Помогает получить содержимое необходимой разработчику странички:

В качестве параметра используется желаемый адрес. Аналогичная функция помогает добавлять заголовки через потоковый контекст:

Для запуска соответствующего метода опция allow_url_fopen в php.ini должна быть активирована.

Второй вариант получения содержимого – через сокеты (pfsockopen). Но лучше использовать библиотеку php CURL.

CURL и парсинг

Теперь настало время запуска парсинга. Первый подход – с помощью CURL. Действовать предстоит следующим образом:

  • Сначала требуется получить http страницы без параметров.
  • Получение http странички с get-параметрами.
  • Получение веб-ресурса по протоколам https.
  • Извлечение http, которая будет загружаться непосредственно через редиректы (следование 302).
  • Нужно сформировать POST-запрос и отправить его. Делаются подобные операции через CURL.
  • Требуется активировать куки в запросе.
  • В запросе GZIP активировать функцию сжатия. Требуется, когда тело ответа – это непонятный набор текста.
  • Вывод заголовков ответов от сервера. Помогает при отладке. Пример – когда сервер не присылает правильное тело ответа или вовсе не дает его.

При парсинге огромную роль играют следующие параметры:

Первый будет всегда в «приложении». Остальные добавляются по мере необходимости. Параметр curlopt_header отвечает за поиск проблем. С ним наладить функционирование парсера php curl не составит никакого труда.

PhpQuery – принцип работы

Второй вариант применения парсинга – через phpQuery. Помогает тогда, когда страничка получена через CURL или иным методом.

Код выше наглядно показывает, как создать парсер на php через phpQuery. Он выступает полноценным аналогом iQuery. Все функции соответствующей «возможности» прописаны в сопутствующей документации. По этой ссылке можно обнаружить селекторы и методы. А здесь – еще несколько кодов парсеров.

Быстрее освоиться в parsers, а также таких понятиях как print_r, echo, curl и других помогут специализированные дистанционные курсы. В срок от пары месяцев до года удастся освоить программирование «с нуля».