Вернуться   Форум Uinsell.Net > Веб-мастеру > Раскрутка и продвижение сайтов (SEO)
Войти через OpenID

Ответ
 
Опции темы Опции просмотра

Старый 31.05.2019, 18:14   #61
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 71
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видеоуроке будет показано, как настроить периодическую проверку окончания срока регистрации доменов, и получать уведомления в телеграм, если он меньше заданного количества дней.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:
  • использование tools.js для написания собственных функций
  • работа с шаблонизатором Template Toolkit
  • проверка доменов через WHOIS
  • цепочки заданий
  • отправка сообщений в Telegram с помощью бота
Полезные ссылки:
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - статья о создании бота и группы для получения уведомлений в Telegram
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - видеоурок по созданию Телеграм канала на базе A-Parser
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - готовые для импорта пресеты
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - документация по Telegram Bot API
Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 11.06.2019, 14:45   #62
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 71
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Улучшения
  • Движок v8 обновлен до версии 7.5, помимо увеличения скорости есть множество улучшений в поддержке новых возможностей языка JavaScript
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] в массив $ads добавлена переменная $visiblelink, в которой содержится видимая ссылка
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена переменная $totalcount которая содержит количество результатов
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена опция Not found is error, указывающая, считать ли отсутствие результатов ошибкой

Исправления в связи с изменениями в выдаче
  • Исправлен парсинг $title в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлен парсинг видео в мобильной выдаче
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлен парсинг рейтингов
  • Исправлена проверка получаемого контента в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], SE:: DuckDuckGo::Images
Исправления
  • Исправлена редкая проблема с ошибками в JS парсерах на Windows
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]исправлена работа функции Get full links для результатов без ссылок
  • Исправлена проблема с Decode JSON error в парсерах WordStat
  • Исправлен баг с перезагрузкой кода JS парсера при редактировании в сторонних приложениях, проблема возникла в одной из предыдущих версий
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 21.06.2019, 14:23   #63
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 71
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
33-й сборник рецептов, в котором мы будем собирать данные из Google maps в указанной местности, спарсим блок вопросов и ответов в поиске Гугла и научимся использовать файлы целиком в качестве запросов. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Начиная с версии 1.2.482 в A-Parser появились парсеры карт Google и Яндекс. Принцип работы обоих одинаков - в настройках указываются координаты точки и зум, парсер собирает результаты поиска по ключевым словам в этой точке и области вокруг нее, ограниченной зумом. Но если стоит задача собрать данные, например, со всего города, то для ее решения нужно указывать диапазон координат и "заставить" парсер пройтись по ним. Как это сделать, а также пример пресета - все это показано по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Google по некоторым запросам показывает в поисковой выдаче блок вопросов и ответов People also ask (Похожие запросы). Наши пользователи периодически интересуются, как можно парсить этот блок, получая отдельно вопросы и ответы на них. Поэтому мы публикуем в нашем каталоге пример такого парсера, а забрать его можно по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Общеизвестно, что в А-Парсере каждая строка в исходном файле - это отдельный запрос. Но существуют задачи, когда необходимо использовать все содержимое файла как один запрос, игнорируя разбивку на строки. Благодаря JavaScript парсерам такая возможность есть и по ссылке выше опубликован пример парсера, который получает все содержимое файла, переводит его на заданный язык и сохраняет в новый файл.


Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 02.07.2019, 17:11   #64
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 71
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видеоуроке мы изучим один из инструментов для работы с запросами - макросы подстановок. С их помощью можно значительно увеличивать количество запросов, листать страницы и многое другое.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:
  • макрос {num} на примерах прохода по страницам и перебора координат в парсере Google maps
  • макрос {az} на примере парсинга по доркам для увеличения кол-ва запросов и соответственно результатов
  • макрос {each} на примере парсинга подсказок для генерации словосочетаний

Полезные ссылки:
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - документация по макросам подстановок
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пресет по перебору координат в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пресет для парсинга с inurl:
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пресет для парсинга подсказок

Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 12.07.2019, 17:57   #65
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 71
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Улучшения
  • Добавлено 4 новых парсера Instagram
    • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных о постах, в т.ч. комментарии и пользователей, которые лайкнули пост
    • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных о профилях и списка постов
    • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг постов по тегах
    • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг постов в определенной локации
  • Добавлено 2 новых парсера SerpStat
    • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных по ключевому слову
    • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсинг данных по доменам/ссылкам
  • Добавлена поддержка дробных чисел в макросе подстановок {num}
  • Добавлена поддержка Node.js в tools.js, теперь можно использовать возможности Node.js (включая модули) в обычных пресетах во всех полях кроме Parse custom results, фильтров и Конструкторов результатов
  • Шаблоны Template Toolkit в настройках парсеров теперь работают для всех запросов
  • Стабилизирована работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] после изменений со стороны Google, благодаря чему несколько уменьшилось количество рекаптч
  • Улучшена проверка ответа в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], улучшен сбор картинок, а также добавлена возможность собирать ссылки на страницу организации
  • API: для oneRequest/bulkRequest добавлен параметр needData, указывающий, передавать ли в ответе data/pages, используется для экономии памяти, по умолчанию отключен
  • Обновлены apps.json и user-agents.txt, при установке обновления также рекомендуется обновить эти файлы
Исправления в связи с изменениями в выдаче
  • Исправлена ситуация, при которой в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] выдавался 597 код ответа
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена ситуация, при которой в результатах появлялись "пустые" ссылки, а также исправлен парсинг сниппетов в мобильной выдаче
  • Исправлена редко встречающаяся проблема с [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], когда парсер получал в ответ 403 статус
  • Исправлено определение языка запроса в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], а также исправлен сбор $title
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] удалена переменная $linkedin_share в связи с прекращением поддержки со стороны LinkedIn
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлен парсинг $features для некоторых видов запросов
  • Исправлен урл запроса в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Исправлен баг в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из-за которого в некоторых случая парсинг завершался с ошибкой
  • В парсерах Maps::* исправлена работа с отрицательными координатами
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена ошибка определения "удачности" запроса
  • Исправлен баг в tools.js, возникший после обновления V8
  • API: исправлена работа метода getAccountsCount
  • JS парсеры: исправлен баг со слэшем в check_content
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 23.07.2019, 13:56   #66
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 71
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
8-й сборник статей. В нем мы научимся парсить ссылки с GET параметрами, искать в поиске Google и скачивать документы, а также узнаем как очищать очередь заданий через API. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В техническую поддержку часто задают вопрос, как собирать ссылки с GET параметрами для поиска SQL уязвимостей. Поэтому, по ссылке выше мы расскажем как это сделать, используя стандартный парсер Google.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
За последнее время уже несколько раз появлялись новости о том, что Google индексирует пользовательские документы, размещенные в их одноименном сервисе и открытые для доступа по ссылке. Соответственно все эти файлы становятся доступны в поиске. И пока Google разбирается с этим, по ссылке выше мы рассказываем как можно искать и скачивать такие документы.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Третья и заключительная часть из цикла статей по работе с A-Parser через API. В ней на примере очистки очереди задач будет рассмотрена работа со вспомогательными запросами, которые позволяют работать с очередью заданий. Все детали - по ссылке выше.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 02.08.2019, 12:18   #67
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 71
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

34-й сборник рецептов, в котором опубликован пресет для оценки количества трафика на сайтах, парсер Ahrefs через API и пресет для парсинга информации об IP адресах. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Пресет для проверка трафика сайта через сервис siteworthtraffic.com. Собираются данные о количестве уникальных постетителей и просмотров, а также о доходе с рекламы. Оценка трафика на сайтах может быть полезна для фильтрации списка сайтов по критерию прибыльности и популярности. Пресет доступен по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Парсер для сбора данных из популярного сервиса Ahrefs через их официальное API. Собирается множество данных, которые позволяют оценивать домены по различным характеристикам. Для использования нужен API ключ, который приобретается отдельно.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Небольшой пресет для сбора информации об IP адресе, а именно: подсеть, организация, страна и город. Данные собираются из сервиса whoer.net.


Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 20.08.2019, 20:54   #68
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 71
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Улучшения
  • Добавлен новый парсер API::Server::Redis (только для лицензий Enterprise)
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность определять наличие расширенных сниппетов (rich snippets) в выдаче
  • В связи с изменениями на сервисе-источнике парсер SE::IxQuick был удален, а вместо него добавлен SE::Startpage с почти аналогичным функционалом
  • Улучшена логика работы функции Get full links в SE::Baidu SE::Baidu
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] реализована возможность указывать дополнительные заголовки для запросов
  • Улучшен парсинг меток сайтов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], а также добавлена поддержка новых типов меток
  • Улучшена логика работы функции Get full links в SE::Baidu
  • Оптимизирован алгоритм обработки подзапросов
Исправления в связи с изменениями в выдаче
  • Улучшена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], в связи с тестированием новой верстки
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] переработан механизм повторных попыток, добавлена поддержка сессий
  • Исправлен парсинг сниппетов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Поностью переработан [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]- теперь он парсит только первую страницу результатов
  • Исправлен парсинг мобильной выдачи в SE::Google::Modern
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при отсутствии результатов
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], парсер полностью переписан
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Исправлена проблема, из-за которой в некоторых случаях при запросе через API возвращался пустой массив страниц
  • Исправлено падение скорости в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен баг в оптимизации парсеров
  • Исправлено сохранение параметра Report period в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]исправлен сбор ссылок, если в них есть перенос строки
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 30.08.2019, 16:42   #69
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 71
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрено:
  • парсинг поиска Google для получения ссылки на страницу контактов
  • парсинг главной страницы сайта для получения title
  • использование инструмента $tools.CSVline для форматирования файла результата
  • пример правильного импорта в Excel
Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 20.09.2019, 23:18   #70
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 71
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]



Улучшения
  • Добавлен новый парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Добавлен инструмент $tools.CSVline для простого создания CSV файлов
  • В связи с тестированием Гуглом новой верстки в поисковике, добавлена ее поддержка в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] в массив $serp добавлена переменная $amp, которая показывает, поддерживает ли страница AMP
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] в $serp.$i.label добавлена поддержка Турбо страниц, а также добавлен сбор типов меток сайтов
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] улучшена работа с редиректами, добавлена опция Follow common redirects
  • Теперь в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] можно указать хост для используемого сервиса разгадывания, а также в Provider url можно указывать адреса через запятую (актуально для XEvil и CapMonster), парсер будет использовать каждый из них в случайном порядке
  • Увеличено количество результатов в парсерах [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Добавлена опция ограничения числа логов, с целью оптимизации использования дискового пространства
  • JS парсеры: улучшена пакетная обработка запросов
Исправления в связи с изменениями в выдаче
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена ситуация, при которой для части результатов не собирались данные
  • Исправлен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Исправлена проблема с рядом парсеров, из-за которой они не работали, появилась в одной из предыдущих версий
  • Исправлена ошибка в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из-за которой при отсутствующих значениях запрос завершался с ошибкой
  • Исправлен баг в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из-за которого в некоторых случаях запросы завершались с ошибкой
  • Для парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] изменен перечень доступных переменных в связи с не совсем корректной работой в некоторых случаях

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 01.10.2019, 14:31   #71
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 71
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В уроке рассмотрено:
  • Парсинг карт Google с использованием Maps::Google
  • Пример получения координат для использования в макросах подстановок
  • Работа с макросами подстановок при наличии отрицательных чисел
  • Импорт результата в Excel

Полезные ссылки:Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием
Ответ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 02:21. Часовой пояс GMT +4.



Powered by vBulletin
Copyright © 2009-2016 UinSell.Net
Лицензия зарегистрирована на: UinSell

Перевод: zCarot