A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:

• использование tools.js для написания собственных функций
• работа с шаблонизатором Template Toolkit
• проверка доменов через WHOIS
• цепочки заданий
• отправка сообщений в Telegram с помощью бота

Полезные ссылки:

• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - статья о создании бота и группы для получения уведомлений в Telegram
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - видеоурок по созданию Телеграм канала на базе A-Parser
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - готовые для импорта пресеты
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - документация по Telegram Bot API

Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Улучшения

• Движок v8 обновлен до версии 7.5, помимо увеличения скорости есть множество улучшений в поддержке новых возможностей языка JavaScript
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] в массив $ads добавлена переменная $visiblelink, в которой содержится видимая ссылка
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена переменная $totalcount которая содержит количество результатов
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена опция Not found is error, указывающая, считать ли отсутствие результатов ошибкой

Исправления в связи с изменениями в выдаче

• Исправлен парсинг $title в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлен парсинг видео в мобильной выдаче
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлен парсинг рейтингов
• Исправлена проверка получаемого контента в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], SE:: DuckDuckGo::Images

Исправления

• Исправлена редкая проблема с ошибками в JS парсерах на Windows
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]исправлена работа функции Get full links для результатов без ссылок
• Исправлена проблема с Decode JSON error в парсерах WordStat
• Исправлен баг с перезагрузкой кода JS парсера при редактировании в сторонних приложениях, проблема возникла в одной из предыдущих версий

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Google по некоторым запросам показывает в поисковой выдаче блок вопросов и ответов People also ask (Похожие запросы). Наши пользователи периодически интересуются, как можно парсить этот блок, получая отдельно вопросы и ответы на них. Поэтому мы публикуем в нашем каталоге пример такого парсера, а забрать его можно по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Общеизвестно, что в А-Парсере каждая строка в исходном файле - это отдельный запрос. Но существуют задачи, когда необходимо использовать все содержимое файла как один запрос, игнорируя разбивку на строки. Благодаря JavaScript парсерам такая возможность есть и по ссылке выше опубликован пример парсера, который получает все содержимое файла, переводит его на заданный язык и сохраняет в новый файл.


Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видеоуроке мы изучим один из инструментов для работы с запросами - макросы подстановок. С их помощью можно значительно увеличивать количество запросов, листать страницы и многое другое.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:

• макрос {num} на примерах прохода по страницам и перебора координат в парсере Google maps
• макрос {az} на примере парсинга по доркам для увеличения кол-ва запросов и соответственно результатов
• макрос {each} на примере парсинга подсказок для генерации словосочетаний

Полезные ссылки:

• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - документация по макросам подстановок
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пресет по перебору координат в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пресет для парсинга с inurl:
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пресет для парсинга подсказок

Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Улучшения

• Добавлено 4 новых парсера Instagram
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных о постах, в т.ч. комментарии и пользователей, которые лайкнули пост
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных о профилях и списка постов
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг постов по тегах
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг постов в определенной локации
• Добавлено 2 новых парсера SerpStat
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных по ключевому слову
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных по доменам/ссылкам
• Добавлена поддержка дробных чисел в макросе подстановок {num}
• Добавлена поддержка Node.js в tools.js, теперь можно использовать возможности Node.js (включая модули) в обычных пресетах во всех полях кроме Parse custom results, фильтров и Конструкторов результатов
• Шаблоны Template Toolkit в настройках парсеров теперь работают для всех запросов
• Стабилизирована работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] после изменений со стороны Google, благодаря чему несколько уменьшилось количество рекаптч
• Улучшена проверка ответа в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], улучшен сбор картинок, а также добавлена возможность собирать ссылки на страницу организации
• API: для oneRequest/bulkRequest добавлен параметр needData, указывающий, передавать ли в ответе data/pages, используется для экономии памяти, по умолчанию отключен
• Обновлены apps.json и user-agents.txt, при установке обновления также рекомендуется обновить эти файлы

Исправления в связи с изменениями в выдаче

• Исправлена ситуация, при которой в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] выдавался 597 код ответа
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена ситуация, при которой в результатах появлялись "пустые" ссылки, а также исправлен парсинг сниппетов в мобильной выдаче
• Исправлена редко встречающаяся проблема с [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], когда парсер получал в ответ 403 статус
• Исправлено определение языка запроса в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], а также исправлен сбор $title
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] удалена переменная $linkedin_share в связи с прекращением поддержки со стороны LinkedIn
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлен парсинг $features для некоторых видов запросов
• Исправлен урл запроса в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Исправления

• Исправлен баг в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из-за которого в некоторых случая парсинг завершался с ошибкой
• В парсерах Maps::* исправлена работа с отрицательными координатами
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена ошибка определения "удачности" запроса
• Исправлен баг в tools.js, возникший после обновления V8
• API: исправлена работа метода getAccountsCount
• JS парсеры: исправлен баг со слэшем в check_content

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
8-й сборник статей. В нем мы научимся парсить ссылки с GET параметрами, искать в поиске Google и скачивать документы, а также узнаем как очищать очередь заданий через API. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В техническую поддержку часто задают вопрос, как собирать ссылки с GET параметрами для поиска SQL уязвимостей. Поэтому, по ссылке выше мы расскажем как это сделать, используя стандартный парсер Google.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
За последнее время уже несколько раз появлялись новости о том, что Google индексирует пользовательские документы, размещенные в их одноименном сервисе и открытые для доступа по ссылке. Соответственно все эти файлы становятся доступны в поиске. И пока Google разбирается с этим, по ссылке выше мы рассказываем как можно искать и скачивать такие документы.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Третья и заключительная часть из цикла статей по работе с A-Parser через API. В ней на примере очистки очереди задач будет рассмотрена работа со вспомогательными запросами, которые позволяют работать с очередью заданий. Все детали - по ссылке выше.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

34-й сборник рецептов, в котором опубликован пресет для оценки количества трафика на сайтах, парсер Ahrefs через API и пресет для парсинга информации об IP адресах. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Пресет для проверка трафика сайта через сервис siteworthtraffic.com. Собираются данные о количестве уникальных постетителей и просмотров, а также о доходе с рекламы. Оценка трафика на сайтах может быть полезна для фильтрации списка сайтов по критерию прибыльности и популярности. Пресет доступен по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Парсер для сбора данных из популярного сервиса Ahrefs через их официальное API. Собирается множество данных, которые позволяют оценивать домены по различным характеристикам. Для использования нужен API ключ, который приобретается отдельно.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Небольшой пресет для сбора информации об IP адресе, а именно: подсеть, организация, страна и город. Данные собираются из сервиса whoer.net.


Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Улучшения

• Добавлен новый парсер API::Server::Redis (только для лицензий Enterprise)
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность определять наличие расширенных сниппетов (rich snippets) в выдаче
• В связи с изменениями на сервисе-источнике парсер SE::IxQuick был удален, а вместо него добавлен SE::Startpage с почти аналогичным функционалом
• Улучшена логика работы функции Get full links в SE::Baidu SE::Baidu
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] реализована возможность указывать дополнительные заголовки для запросов
• Улучшен парсинг меток сайтов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], а также добавлена поддержка новых типов меток
• Улучшена логика работы функции Get full links в SE::Baidu
• Оптимизирован алгоритм обработки подзапросов

Исправления в связи с изменениями в выдаче

• Улучшена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], в связи с тестированием новой верстки
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] переработан механизм повторных попыток, добавлена поддержка сессий
• Исправлен парсинг сниппетов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• Поностью переработан [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]- теперь он парсит только первую страницу результатов
• Исправлен парсинг мобильной выдачи в SE::Google::Modern
• Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при отсутствии результатов
• Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], парсер полностью переписан
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Исправления

• Исправлена проблема, из-за которой в некоторых случаях при запросе через API возвращался пустой массив страниц
• Исправлено падение скорости в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• Исправлен баг в оптимизации парсеров
• Исправлено сохранение параметра Report period в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]исправлен сбор ссылок, если в них есть перенос строки

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:

• парсинг поиска Google для получения ссылки на страницу контактов
• парсинг главной страницы сайта для получения title
• использование инструмента $tools.CSVline для форматирования файла результата
• пример правильного импорта в Excel

Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]



Улучшения

• Добавлен новый парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• Добавлен инструмент $tools.CSVline для простого создания CSV файлов
• В связи с тестированием Гуглом новой верстки в поисковике, добавлена ее поддержка в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] в массив $serp добавлена переменная $amp, которая показывает, поддерживает ли страница AMP
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] в $serp.$i.label добавлена поддержка Турбо страниц, а также добавлен сбор типов меток сайтов
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] улучшена работа с редиректами, добавлена опция Follow common redirects
• Теперь в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] можно указать хост для используемого сервиса разгадывания, а также в Provider url можно указывать адреса через запятую (актуально для XEvil и CapMonster), парсер будет использовать каждый из них в случайном порядке
• Увеличено количество результатов в парсерах [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• Добавлена опция ограничения числа логов, с целью оптимизации использования дискового пространства
• JS парсеры: улучшена пакетная обработка запросов

Исправления в связи с изменениями в выдаче

• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена ситуация, при которой для части результатов не собирались данные
• Исправлен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Исправления

• Исправлена проблема с рядом парсеров, из-за которой они не работали, появилась в одной из предыдущих версий
• Исправлена ошибка в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из-за которой при отсутствующих значениях запрос завершался с ошибкой
• Исправлен баг в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из-за которого в некоторых случаях запросы завершались с ошибкой
• Для парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] изменен перечень доступных переменных в связи с не совсем корректной работой в некоторых случаях

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В уроке рассмотрено:

• Парсинг карт Google с использованием Maps::Google
• Пример получения координат для использования в макросах подстановок
• Работа с макросами подстановок при наличии отрицательных чисел
• Импорт результата в Excel

Полезные ссылки:

• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

9-й сборник статей. В нем мы разберемся, как делать пресеты для анализа всех страниц сайта, научимся парсить все ссылки сайта из индекса ПС и будем проверять существование запросов. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Анализ страниц на сайте - это один из самых популярных кейсов использования А-Парсера. При этом можно собирать очень много различных параметров, начиная от проверки доступности и заканчивая поиском определенных слов на странице.
О том, как сделать простой анализатор сайта и пойдет речь в этой статье.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Парсинг из индекса поисковых систем всех страниц сайта - это еще один популярный кейс для A-Parser. ПС ограничивают кол-во результатов по одному запросу, поэтому нужно как-то обходить это ограничение. Как это сделать - описано в нашей статье.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Пресет из этого примера позволяет проверить базу ключевых слов и определить, был ли запрос одноразовым без постоянного спроса или нет. Тем самым появляется возможность отфильтровать семантику и оставить только "хорошие" запросы. Больше деталей, а также готовый пресет - по ссылке выше.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники статей

• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]



Улучшения

• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена поддержка рекаптч, а также улучшена работа в целом
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность одновременной работы авторазгадывания каптч и антигейта
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность выбора типа домена
• Полностью переписан [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], изменен набор собираемых данных
• Реализован бан прокси в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлен парсинг даты освобождения домена
• Оптимизирована работа с прокси при использовании большого числа попыток
• Улучшена работа функции Bypass Cloudflare
• Добавлен tools.aparser.version(), позволяющий получить информацию о версии A-Parser

Исправления в связи с изменениями в выдаче

• В мобильной верстке [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлен парсинг новостей, а также исправлен парсинг ссылок и анкоров в desktop выдаче
• В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлено определение каптчи, а также исправлен сбор ссылок на кеш
• Исправлен парсинг цен и количества комментариев в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] с запросами, содержащими более 1 слова
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] , [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Исправления

• Исправлена проблема с рандомизацией прокси на Windows 10
• Исправлено зависание при использовании [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• Исправлена проблема, при которой не применялся Content-Type в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• Исправлена редкая проблема с выбором файла запросов
• Исправлена обработка редиректов при нестандартном порте
• Исправлен вывод многострочных данных в tools.CSVline
• JS парсеры: исправлена проблема с интерфейсом при отсутствии необходимых Node.js модулей
• JS парсеры: исправлена проблема с подключением модуля jimp

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В уроке рассмотрено:

• Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
• Получение title (с очисткой от HTML сущностей)
• Получение таких параметров как:
  • кол-во предыдущих редиректов
  • код ответа сервера
  • кол-во внешних ссылок

Полезные ссылки:

• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - готовый пресет в Каталоге
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - подробное описание по созданию настроек для парсинга в глубину сайта
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - документация по функции "Парсить до уровня"

Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[A-Parser Sup]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.

Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]


А теперь перейдем непосредственно к сборнику.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.



[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.



[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.



Кроме этого были обновлены:

• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
• [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]