 |
|
 |
31.05.2019, 18:14
|
#61
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:- использование tools.js для написания собственных функций
- работа с шаблонизатором Template Toolkit
- проверка доменов через WHOIS
- цепочки заданий
- отправка сообщений в Telegram с помощью бота
Полезные ссылки:- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - статья о создании бота и группы для получения уведомлений в Telegram
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - видеоурок по созданию Телеграм канала на базе A-Parser
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - готовые для импорта пресеты
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - документация по Telegram Bot API
Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
 |
|
|
|
|
21.06.2019, 14:23
|
#63
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали!
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Google по некоторым запросам показывает в поисковой выдаче блок вопросов и ответов People also ask (Похожие запросы). Наши пользователи периодически интересуются, как можно парсить этот блок, получая отдельно вопросы и ответы на них. Поэтому мы публикуем в нашем каталоге пример такого парсера, а забрать его можно по ссылке выше.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Общеизвестно, что в А-Парсере каждая строка в исходном файле - это отдельный запрос. Но существуют задачи, когда необходимо использовать все содержимое файла как один запрос, игнорируя разбивку на строки. Благодаря JavaScript парсерам такая возможность есть и по ссылке выше опубликован пример парсера, который получает все содержимое файла, переводит его на заданный язык и сохраняет в новый файл.
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
02.07.2019, 17:11
|
#64
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видеоуроке мы изучим один из инструментов для работы с запросами - макросы подстановок. С их помощью можно значительно увеличивать количество запросов, листать страницы и многое другое.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:- макрос {num} на примерах прохода по страницам и перебора координат в парсере Google maps
- макрос {az} на примере парсинга по доркам для увеличения кол-ва запросов и соответственно результатов
- макрос {each} на примере парсинга подсказок для генерации словосочетаний
Полезные ссылки:- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - документация по макросам подстановок
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пресет по перебору координат в
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пресет для парсинга с inurl:
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пресет для парсинга подсказок
Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
12.07.2019, 17:57
|
#65
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Улучшения- Добавлено 4 новых парсера Instagram
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных о постах, в т.ч. комментарии и пользователей, которые лайкнули пост- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных о профилях и списка постов
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг постов по тегах
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг постов в определенной локации
- Добавлено 2 новых парсера SerpStat
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных по ключевому слову [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных по доменам/ссылкам
- Добавлена поддержка дробных чисел в макросе подстановок {num}
- Добавлена поддержка Node.js в tools.js, теперь можно использовать возможности Node.js (включая модули) в обычных пресетах во всех полях кроме Parse custom results, фильтров и Конструкторов результатов
- Шаблоны Template Toolkit в настройках парсеров теперь работают для всех запросов
- Стабилизирована работа
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] после изменений со стороны Google, благодаря чему несколько уменьшилось количество рекаптч
- Улучшена проверка ответа в
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], улучшен сбор картинок, а также добавлена возможность собирать ссылки на страницу организации
- API: для oneRequest/bulkRequest добавлен параметр needData, указывающий, передавать ли в ответе data/pages, используется для экономии памяти, по умолчанию отключен
- Обновлены apps.json и user-agents.txt, при установке обновления также рекомендуется обновить эти файлы
Исправления в связи с изменениями в выдаче- Исправлена ситуация, при которой в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] выдавался 597 код ответа
- В
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена ситуация, при которой в результатах появлялись "пустые" ссылки, а также исправлен парсинг сниппетов в мобильной выдаче
- Исправлена редко встречающаяся проблема с
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], когда парсер получал в ответ 403 статус
- Исправлено определение языка запроса в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Исправлена работа
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], а также исправлен сбор $title
- В
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] удалена переменная $linkedin_share в связи с прекращением поддержки со стороны LinkedIn
- В
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлен парсинг $features для некоторых видов запросов
- Исправлен урл запроса в
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления- Исправлен баг в
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из-за которого в некоторых случая парсинг завершался с ошибкой
- В парсерах Maps::* исправлена работа с отрицательными координатами
- В
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена ошибка определения "удачности" запроса
- Исправлен баг в tools.js, возникший после обновления V8
- API: исправлена работа метода getAccountsCount
- JS парсеры: исправлен баг со слэшем в check_content
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
23.07.2019, 13:56
|
#66
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
8-й сборник статей. В нем мы научимся парсить ссылки с GET параметрами, искать в поиске Google и скачивать документы, а также узнаем как очищать очередь заданий через API. Поехали!
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В техническую поддержку часто задают вопрос, как собирать ссылки с GET параметрами для поиска SQL уязвимостей. Поэтому, по ссылке выше мы расскажем как это сделать, используя стандартный парсер Google.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
За последнее время уже несколько раз появлялись новости о том, что Google индексирует пользовательские документы, размещенные в их одноименном сервисе и открытые для доступа по ссылке. Соответственно все эти файлы становятся доступны в поиске. И пока Google разбирается с этим, по ссылке выше мы рассказываем как можно искать и скачивать такие документы.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Третья и заключительная часть из цикла статей по работе с A-Parser через API. В ней на примере очистки очереди задач будет рассмотрена работа со вспомогательными запросами, которые позволяют работать с очередью заданий. Все детали - по ссылке выше.
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки  ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
02.08.2019, 12:18
|
#67
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
34-й сборник рецептов, в котором опубликован пресет для оценки количества трафика на сайтах, парсер Ahrefs через API и пресет для парсинга информации об IP адресах. Поехали!
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Пресет для проверка трафика сайта через сервис siteworthtraffic.com. Собираются данные о количестве уникальных постетителей и просмотров, а также о доходе с рекламы. Оценка трафика на сайтах может быть полезна для фильтрации списка сайтов по критерию прибыльности и популярности. Пресет доступен по ссылке выше.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Парсер для сбора данных из популярного сервиса Ahrefs через их официальное API. Собирается множество данных, которые позволяют оценивать домены по различным характеристикам. Для использования нужен API ключ, который приобретается отдельно.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Небольшой пресет для сбора информации об IP адресе, а именно: подсеть, организация, страна и город. Данные собираются из сервиса whoer.net.
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
20.08.2019, 20:54
|
#68
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Улучшения- Добавлен новый парсер API::Server::Redis (только для лицензий Enterprise)
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность определять наличие расширенных сниппетов (rich snippets) в выдаче
- В связи с изменениями на сервисе-источнике парсер SE::IxQuick был удален, а вместо него добавлен SE::Startpage с почти аналогичным функционалом
- Улучшена логика работы функции Get full links в SE::Baidu SE::Baidu
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] реализована возможность указывать дополнительные заголовки для запросов
- Улучшен парсинг меток сайтов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], а также добавлена поддержка новых типов меток
- Улучшена логика работы функции Get full links в SE::Baidu
- Оптимизирован алгоритм обработки подзапросов
Исправления в связи с изменениями в выдаче- Улучшена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], в связи с тестированием новой верстки
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] переработан механизм повторных попыток, добавлена поддержка сессий
- Исправлен парсинг сниппетов в
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Поностью переработан
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]- теперь он парсит только первую страницу результатов
- Исправлен парсинг мобильной выдачи в SE::Google::Modern
- Исправлена работа
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при отсутствии результатов
- Исправлена работа
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], парсер полностью переписан
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться],  [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться],  [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления- Исправлена проблема, из-за которой в некоторых случаях при запросе через API возвращался пустой массив страниц
- Исправлено падение скорости в
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Исправлен баг в оптимизации парсеров
- Исправлено сохранение параметра Report period в
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- В
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]исправлен сбор ссылок, если в них есть перенос строки
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
30.08.2019, 16:42
|
#69
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:- парсинг поиска Google для получения ссылки на страницу контактов
- парсинг главной страницы сайта для получения title
- использование инструмента $tools.CSVline для форматирования файла результата
- пример правильного импорта в Excel
Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
20.09.2019, 23:18
|
#70
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Улучшения- Добавлен новый парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Добавлен инструмент $tools.CSVline для простого создания CSV файлов
- В связи с тестированием Гуглом новой верстки в поисковике, добавлена ее поддержка в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] в массив $serp добавлена переменная $amp, которая показывает, поддерживает ли страница AMP
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] в $serp.$i.label добавлена поддержка Турбо страниц, а также добавлен сбор типов меток сайтов
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] улучшена работа с редиректами, добавлена опция Follow common redirects
- Теперь в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] можно указать хост для используемого сервиса разгадывания, а также в Provider url можно указывать адреса через запятую (актуально для XEvil и CapMonster), парсер будет использовать каждый из них в случайном порядке
- Увеличено количество результатов в парсерах [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Добавлена опция ограничения числа логов, с целью оптимизации использования дискового пространства
- JS парсеры: улучшена пакетная обработка запросов
Исправления в связи с изменениями в выдаче- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена ситуация, при которой для части результатов не собирались данные
- Исправлен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления- Исправлена проблема с рядом парсеров, из-за которой они не работали, появилась в одной из предыдущих версий
- Исправлена ошибка в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из-за которой при отсутствующих значениях запрос завершался с ошибкой
- Исправлен баг в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из-за которого в некоторых случаях запросы завершались с ошибкой
- Для парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] изменен перечень доступных переменных в связи с не совсем корректной работой в некоторых случаях
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
01.10.2019, 14:31
|
#71
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:- Парсинг карт Google с использованием Maps::Google
- Пример получения координат для использования в макросах подстановок
- Работа с макросами подстановок при наличии отрицательных чисел
- Импорт результата в Excel
Полезные ссылки:Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
30.10.2019, 16:44
|
#72
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
9-й сборник статей. В нем мы разберемся, как делать пресеты для анализа всех страниц сайта, научимся парсить все ссылки сайта из индекса ПС и будем проверять существование запросов. Поехали!
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Анализ страниц на сайте - это один из самых популярных кейсов использования А-Парсера. При этом можно собирать очень много различных параметров, начиная от проверки доступности и заканчивая поиском определенных слов на странице.
О том, как сделать простой анализатор сайта и пойдет речь в этой статье.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Парсинг из индекса поисковых систем всех страниц сайта - это еще один популярный кейс для A-Parser. ПС ограничивают кол-во результатов по одному запросу, поэтому нужно как-то обходить это ограничение. Как это сделать - описано в нашей статье.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Пресет из этого примера позволяет проверить базу ключевых слов и определить, был ли запрос одноразовым без постоянного спроса или нет. Тем самым появляется возможность отфильтровать семантику и оставить только "хорошие" запросы. Больше деталей, а также готовый пресет - по ссылке выше.
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
Предыдущие сборники статей
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
12.11.2019, 20:08
|
#73
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Улучшения- В
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена поддержка рекаптч, а также улучшена работа в целом
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность одновременной работы авторазгадывания каптч и антигейта
- В
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность выбора типа домена
- Полностью переписан
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], изменен набор собираемых данных
- Реализован бан прокси в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлен парсинг даты освобождения домена
- Оптимизирована работа с прокси при использовании большого числа попыток
- Улучшена работа функции Bypass Cloudflare
- Добавлен tools.aparser.version(), позволяющий получить информацию о версии A-Parser
Исправления в связи с изменениями в выдаче- В мобильной верстке
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлен парсинг новостей, а также исправлен парсинг ссылок и анкоров в desktop выдаче
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлено определение каптчи, а также исправлен сбор ссылок на кеш
- Исправлен парсинг цен и количества комментариев в
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] с запросами, содержащими более 1 слова
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] , [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления- Исправлена проблема с рандомизацией прокси на Windows 10
- Исправлено зависание при использовании
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Исправлена проблема, при которой не применялся Content-Type в
 [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
- Исправлена редкая проблема с выбором файла запросов
- Исправлена обработка редиректов при нестандартном порте
- Исправлен вывод многострочных данных в tools.CSVline
- JS парсеры: исправлена проблема с интерфейсом при отсутствии необходимых Node.js модулей
- JS парсеры: исправлена проблема с подключением модуля jimp
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
22.11.2019, 20:48
|
#74
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:- Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
- Получение title (с очисткой от HTML сущностей)
- Получение таких параметров как:
- кол-во предыдущих редиректов
- код ответа сервера
- кол-во внешних ссылок
Полезные ссылки:- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - готовый пресет в Каталоге
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - подробное описание по созданию настроек для парсинга в глубину сайта
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - документация по функции "Парсить до уровня"
Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
05.12.2019, 12:57
|
#75
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.
Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
А теперь перейдем непосредственно к сборнику.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.
Кроме этого были обновлены:
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
14.12.2019, 08:37
|
#76
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Улучшения- Добавлен новый парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], который собирает из публичных групп в Telegram данные о сообщениях: текст, дата, автор, ссылки на фото и видео
- Добавлен новый парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], который позволяет парсить поисковую выдачу на ebay.com
- Изменения в парсерах Google:
- Добавлена переменная $detected_geo, в которой содержится информация о геолокации
- В связи с неактуальностью удалены опции:
- Old desktop computer (IE6) в Device
- Util::AntiGate preset
- Use digit captcha
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] увеличено максимальное значение Pages count до 25
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена поддержка новой верстки
- В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена поддержка capmonster.cloud
- Парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] полностью переписан, добавлена поддержка каптч и сессий и добавлен сбор ссылок на кешированные страницы
- Парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] полностью переписан, добавлен сбор тегов и дополнительных ссылок с анкорами
- Добавлен новый инструмент шаблонизатора tools.task, на данный момент он умеет возвращать id задания и число потоков
- JS парсеры: this.query.add теперь поддерживает передачу дополнительных параметров
Исправления в связи с изменениями в выдаче
Исправления- В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
- Исправлены проблемы с рандомизацией в некоторых случаях
- Исправлена ошибка в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при парсинге только массивов данных
- Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
- JS парсеры: исправлена работа с Node.js модулем socks
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
24.12.2019, 17:26
|
#77
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.
Пресеты для парсинга публичных групп в Telegram
Начиная с версии 1.2.709 в А-Парсер был добавлен  [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]. Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета:
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
04.01.2020, 18:26
|
#78
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Большая справочная статья, посвященная тематике редиректов.
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
Предыдущие сборники статей
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
|
|
|
20.01.2020, 09:42
|
#79
|
|
Посетитель
Обратиться по нику
Инфо
Регистрация: 16.06.2017
Сообщений: 93
Благодарностей: 0
|
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:- Парсинг поисковой выдачи Google
- Вывод уникальных результатов в качестве главных доменов
- Получение таких параметров как:
- зарегистрирован домен или нет
- дата регистрации и дата окончания регистрации домена
- язык сайта
- title и description
- индекс качества сайта
- позицию в глобальном рейтинге Alexa
- cтрану с наибольшим числом трафика по Alexa
- позицию в рейтинге этой страны по Alexa
Полезные ссылки:- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсер Net::Whois
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсер HTML::TextExtractor::LangDetect
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсер SE::Yandex::SQI
Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
|
|
|
|
|
|
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
|
|
|
| Опции темы |
|
|
| Опции просмотра |
 Линейный вид
|
Ваши права в разделе
|
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения
HTML код Выкл.
|
|
|
|
Текущее время: 19:04. Часовой пояс GMT +4. |
|
|
[Ссылки видны только зарегистрированным пользователям. 
[Ссылки видны только зарегистрированным пользователям. 
[Ссылки видны только зарегистрированным пользователям. 
[Ссылки видны только зарегистрированным пользователям. 
[Ссылки видны только зарегистрированным пользователям. 
