 |
|
 |
31.05.2019, 18:14
|
#61
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:- использование tools.js для написания собственных функций
- работа с шаблонизатором Template Toolkit
- проверка доменов через WHOIS
- цепочки заданий
- отправка сообщений в Telegram с помощью бота
Полезные ссылки:- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - статья о создании бота и группы для получения уведомлений в Telegram
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - видеоурок по созданию Телеграм канала на базе A-Parser
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - готовые для импорта пресеты
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - документация по Telegram Bot API
Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
 |
|
 |
21.06.2019, 14:23
|
#63
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали!
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Google по некоторым запросам показывает в поисковой выдаче блок вопросов и ответов People also ask (Похожие запросы). Наши пользователи периодически интересуются, как можно парсить этот блок, получая отдельно вопросы и ответы на них. Поэтому мы публикуем в нашем каталоге пример такого парсера, а забрать его можно по ссылке выше.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Общеизвестно, что в А-Парсере каждая строка в исходном файле - это отдельный запрос. Но существуют задачи, когда необходимо использовать все содержимое файла как один запрос, игнорируя разбивку на строки. Благодаря JavaScript парсерам такая возможность есть и по ссылке выше опубликован пример парсера, который получает все содержимое файла, переводит его на заданный язык и сохраняет в новый файл.
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
 |
|
 |
02.07.2019, 17:11
|
#64
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видеоуроке мы изучим один из инструментов для работы с запросами - макросы подстановок. С их помощью можно значительно увеличивать количество запросов, листать страницы и многое другое.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:- макрос {num} на примерах прохода по страницам и перебора координат в парсере Google maps
- макрос {az} на примере парсинга по доркам для увеличения кол-ва запросов и соответственно результатов
- макрос {each} на примере парсинга подсказок для генерации словосочетаний
Полезные ссылки:- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - документация по макросам подстановок
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пресет по перебору координат в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пресет для парсинга с inurl:
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пресет для парсинга подсказок
Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
 |
|
 |
12.07.2019, 17:57
|
#65
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Улучшения- Добавлено 4 новых парсера Instagram
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных о постах, в т.ч. комментарии и пользователей, которые лайкнули пост
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных о профилях и списка постов
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг постов по тегах
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг постов в определенной локации
- Добавлено 2 новых парсера SerpStat
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных по ключевому слову
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных по доменам/ссылкам
- Добавлена поддержка дробных чисел в макросе подстановок {num}
- Добавлена поддержка Node.js в tools.js, теперь можно использовать возможности Node.js (включая модули) в обычных пресетах во всех полях кроме Parse custom results, фильтров и Конструкторов результатов
- Шаблоны Template Toolkit в настройках парсеров теперь работают для всех запросов
- Стабилизирована работа
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] после изменений со стороны Google, благодаря чему несколько уменьшилось количество рекаптч
- Улучшена проверка ответа в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], улучшен сбор картинок, а также добавлена возможность собирать ссылки на страницу организации
- API: для oneRequest/bulkRequest добавлен параметр needData, указывающий, передавать ли в ответе data/pages, используется для экономии памяти, по умолчанию отключен
- Обновлены apps.json и user-agents.txt, при установке обновления также рекомендуется обновить эти файлы
Исправления в связи с изменениями в выдаче- Исправлена ситуация, при которой в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] выдавался 597 код ответа
- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена ситуация, при которой в результатах появлялись "пустые" ссылки, а также исправлен парсинг сниппетов в мобильной выдаче
- Исправлена редко встречающаяся проблема с
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], когда парсер получал в ответ 403 статус
- Исправлено определение языка запроса в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Исправлена работа
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], а также исправлен сбор $title
- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] удалена переменная $linkedin_share в связи с прекращением поддержки со стороны LinkedIn
- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлен парсинг $features для некоторых видов запросов
- Исправлен урл запроса в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления- Исправлен баг в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из-за которого в некоторых случая парсинг завершался с ошибкой
- В парсерах Maps::* исправлена работа с отрицательными координатами
- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена ошибка определения "удачности" запроса
- Исправлен баг в tools.js, возникший после обновления V8
- API: исправлена работа метода getAccountsCount
- JS парсеры: исправлен баг со слэшем в check_content
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
 |
|
 |
23.07.2019, 13:56
|
#66
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
8-й сборник статей. В нем мы научимся парсить ссылки с GET параметрами, искать в поиске Google и скачивать документы, а также узнаем как очищать очередь заданий через API. Поехали!
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В техническую поддержку часто задают вопрос, как собирать ссылки с GET параметрами для поиска SQL уязвимостей. Поэтому, по ссылке выше мы расскажем как это сделать, используя стандартный парсер Google.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
За последнее время уже несколько раз появлялись новости о том, что Google индексирует пользовательские документы, размещенные в их одноименном сервисе и открытые для доступа по ссылке. Соответственно все эти файлы становятся доступны в поиске. И пока Google разбирается с этим, по ссылке выше мы рассказываем как можно искать и скачивать такие документы.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Третья и заключительная часть из цикла статей по работе с A-Parser через API. В ней на примере очистки очереди задач будет рассмотрена работа со вспомогательными запросами, которые позволяют работать с очередью заданий. Все детали - по ссылке выше.
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки  ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
 |
|
 |
02.08.2019, 12:18
|
#67
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
34-й сборник рецептов, в котором опубликован пресет для оценки количества трафика на сайтах, парсер Ahrefs через API и пресет для парсинга информации об IP адресах. Поехали!
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Пресет для проверка трафика сайта через сервис siteworthtraffic.com. Собираются данные о количестве уникальных постетителей и просмотров, а также о доходе с рекламы. Оценка трафика на сайтах может быть полезна для фильтрации списка сайтов по критерию прибыльности и популярности. Пресет доступен по ссылке выше.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Парсер для сбора данных из популярного сервиса Ahrefs через их официальное API. Собирается множество данных, которые позволяют оценивать домены по различным характеристикам. Для использования нужен API ключ, который приобретается отдельно.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Небольшой пресет для сбора информации об IP адресе, а именно: подсеть, организация, страна и город. Данные собираются из сервиса whoer.net.
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
 |
|
 |
20.08.2019, 20:54
|
#68
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Улучшения- Добавлен новый парсер API::Server::Redis (только для лицензий Enterprise)
- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность определять наличие расширенных сниппетов (rich snippets) в выдаче
- В связи с изменениями на сервисе-источнике парсер SE::IxQuick был удален, а вместо него добавлен SE::Startpage с почти аналогичным функционалом
- Улучшена логика работы функции Get full links в SE::Baidu SE::Baidu
- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] реализована возможность указывать дополнительные заголовки для запросов
- Улучшен парсинг меток сайтов в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], а также добавлена поддержка новых типов меток
- Улучшена логика работы функции Get full links в SE::Baidu
- Оптимизирован алгоритм обработки подзапросов
Исправления в связи с изменениями в выдаче- Улучшена работа
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], в связи с тестированием новой верстки
- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] переработан механизм повторных попыток, добавлена поддержка сессий
- Исправлен парсинг сниппетов в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Поностью переработан
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]- теперь он парсит только первую страницу результатов
- Исправлен парсинг мобильной выдачи в SE::Google::Modern
- Исправлена работа
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при отсутствии результатов
- Исправлена работа
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], парсер полностью переписан
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления- Исправлена проблема, из-за которой в некоторых случаях при запросе через API возвращался пустой массив страниц
- Исправлено падение скорости в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Исправлен баг в оптимизации парсеров
- Исправлено сохранение параметра Report period в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]исправлен сбор ссылок, если в них есть перенос строки
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
30.08.2019, 16:42
|
#69
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:- парсинг поиска Google для получения ссылки на страницу контактов
- парсинг главной страницы сайта для получения title
- использование инструмента $tools.CSVline для форматирования файла результата
- пример правильного импорта в Excel
Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
|
 |
20.09.2019, 23:18
|
#70
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Улучшения- Добавлен новый парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Добавлен инструмент $tools.CSVline для простого создания CSV файлов
- В связи с тестированием Гуглом новой верстки в поисковике, добавлена ее поддержка в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] в массив $serp добавлена переменная $amp, которая показывает, поддерживает ли страница AMP
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] в $serp.$i.label добавлена поддержка Турбо страниц, а также добавлен сбор типов меток сайтов
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] улучшена работа с редиректами, добавлена опция Follow common redirects
- Теперь в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] можно указать хост для используемого сервиса разгадывания, а также в Provider url можно указывать адреса через запятую (актуально для XEvil и CapMonster), парсер будет использовать каждый из них в случайном порядке
- Увеличено количество результатов в парсерах [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Добавлена опция ограничения числа логов, с целью оптимизации использования дискового пространства
- JS парсеры: улучшена пакетная обработка запросов
Исправления в связи с изменениями в выдаче- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена ситуация, при которой для части результатов не собирались данные
- Исправлен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления- Исправлена проблема с рядом парсеров, из-за которой они не работали, появилась в одной из предыдущих версий
- Исправлена ошибка в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из-за которой при отсутствующих значениях запрос завершался с ошибкой
- Исправлен баг в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из-за которого в некоторых случаях запросы завершались с ошибкой
- Для парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] изменен перечень доступных переменных в связи с не совсем корректной работой в некоторых случаях
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
01.10.2019, 14:31
|
#71
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:- Парсинг карт Google с использованием Maps::Google
- Пример получения координат для использования в макросах подстановок
- Работа с макросами подстановок при наличии отрицательных чисел
- Импорт результата в Excel
Полезные ссылки:Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
 |
|
 |
30.10.2019, 16:44
|
#72
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
9-й сборник статей. В нем мы разберемся, как делать пресеты для анализа всех страниц сайта, научимся парсить все ссылки сайта из индекса ПС и будем проверять существование запросов. Поехали!
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Анализ страниц на сайте - это один из самых популярных кейсов использования А-Парсера. При этом можно собирать очень много различных параметров, начиная от проверки доступности и заканчивая поиском определенных слов на странице.
О том, как сделать простой анализатор сайта и пойдет речь в этой статье.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Парсинг из индекса поисковых систем всех страниц сайта - это еще один популярный кейс для A-Parser. ПС ограничивают кол-во результатов по одному запросу, поэтому нужно как-то обходить это ограничение. Как это сделать - описано в нашей статье.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Пресет из этого примера позволяет проверить базу ключевых слов и определить, был ли запрос одноразовым без постоянного спроса или нет. Тем самым появляется возможность отфильтровать семантику и оставить только "хорошие" запросы. Больше деталей, а также готовый пресет - по ссылке выше.
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки  ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
Предыдущие сборники статей
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
 |
|
 |
12.11.2019, 20:08
|
#73
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Улучшения- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена поддержка рекаптч, а также улучшена работа в целом
- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность одновременной работы авторазгадывания каптч и антигейта
- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность выбора типа домена
- Полностью переписан
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], изменен набор собираемых данных
- Реализован бан прокси в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлен парсинг даты освобождения домена
- Оптимизирована работа с прокси при использовании большого числа попыток
- Улучшена работа функции Bypass Cloudflare
- Добавлен tools.aparser.version(), позволяющий получить информацию о версии A-Parser
Исправления в связи с изменениями в выдаче- В мобильной верстке
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлен парсинг новостей, а также исправлен парсинг ссылок и анкоров в desktop выдаче
- В
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлено определение каптчи, а также исправлен сбор ссылок на кеш
- Исправлен парсинг цен и количества комментариев в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Исправлена работа
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] с запросами, содержащими более 1 слова
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] , [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления- Исправлена проблема с рандомизацией прокси на Windows 10
- Исправлено зависание при использовании
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Исправлена проблема, при которой не применялся Content-Type в
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Исправлена редкая проблема с выбором файла запросов
- Исправлена обработка редиректов при нестандартном порте
- Исправлен вывод многострочных данных в tools.CSVline
- JS парсеры: исправлена проблема с интерфейсом при отсутствии необходимых Node.js модулей
- JS парсеры: исправлена проблема с подключением модуля jimp
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
 |
|
 |
22.11.2019, 20:48
|
#74
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:- Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
- Получение title (с очисткой от HTML сущностей)
- Получение таких параметров как:
- кол-во предыдущих редиректов
- код ответа сервера
- кол-во внешних ссылок
Полезные ссылки:- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - готовый пресет в Каталоге
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - подробное описание по созданию настроек для парсинга в глубину сайта
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - документация по функции "Парсить до уровня"
Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
 |
|
 |
05.12.2019, 12:57
|
#75
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 75
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.
Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
А теперь перейдем непосредственно к сборнику.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.
Кроме этого были обновлены:
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
 |
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
Опции темы |
|
Опции просмотра |
Линейный вид
|
Ваши права в разделе
|
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения
HTML код Выкл.
|
|
|
Текущее время: 02:31. Часовой пояс GMT +4. |
|
|