Вернуться   Форум Uinsell.Net > Веб-мастеру > Раскрутка и продвижение сайтов (SEO)
Войти через OpenID

Ответ
 
Опции темы Опции просмотра

Старый 27.03.2018, 11:31   #21
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 26
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]


Улучшения
  • Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Добавлена защита от случайного закрытия окна парсера
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлены Parse all results и Parse related to level
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] полностью переписан, добавлена возможность проверять домены на клей
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена поддержка ReCaptcha2
  • Улучшен парсинг сниппетов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Улучшен сбор почт в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления в связи с изменениями в выдаче
  • Обновлен алгоритм Bypass Cloudflare
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] почти полностью переписан в связи с изменением логики работы переводчика Bing
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] с некоторыми видами запросов
  • Исправлен парсинг related keywords, а также мобильной выдачи в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг related keywords в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при работе с русскоязычными запросами
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] на IPv6 прокси
  • Исправлена ошибка, из-за которой [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] собирал ссылки с пометкой опасных сайтов в общий массив ссылок
  • Исправлена работа с оператором поиска + в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг запросов со спецсимволами в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен баг с overrideOpts в JS парсерах
  • Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов
  • Исправлена работа tools.js, баг появился в одной из предыдущих версий
  • Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий
  Ответить с цитированием

Старый 06.04.2018, 11:27   #22
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 26
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В уроке рассмотрено:
  • Создание JS-парсера для разгадывания капчи
  • Работа с объектом this.captcha внутри JavaScript кода
  • Описание процесса разгадывания каптчи, реализованного в A-Parser

Статья и готовый парсер: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Сборник рецептов #22: проверка индексации в нескольких ПС
Старый 17.04.2018, 11:24   #23
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 26
Благодарностей: 0
По умолчанию Сборник рецептов #22: проверка индексации в нескольких ПС

22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.


Кроме этого:
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - показаны все базовые возможности нового функционала по работе с SQLite
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники рецептов:
  Ответить с цитированием

Сборник статей #3
Старый 27.04.2018, 11:36   #24
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 26
Благодарностей: 0
По умолчанию Сборник статей #3

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

JS парсеры в А-Парсере появились уже около года назад. Благодаря им стало возможным решать очень сложные задачи по парсингу, реализовывая практически любую логику. В этой статье мы максимально подробно изучим работу с разными типами переменных, а также узнаем, как можно оптимизировать работу сложных парсеров. Все это - в статье по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Начиная с версии 1.2.152 в A-Parser появилась возможность [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
В данной статье мы рассмотрим разработку JavaScript парсера, который будет парсить курсы валют из сайта finance.i.ua и сохранять их в БД. В результате получится парсер, в котором продемонстрированы основные операции с базами данных. Подробности, а также готовый парсер - по ссылке выше.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники статей
  Ответить с цитированием

Старый 08.05.2018, 11:14   #25
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 26
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]


Улучшения
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - многократно увеличена скорость парсинга
  • Множество улучшений в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]:
    • Возможность указать несколько DNS и задать метод выбора
    • Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
    • Возможность вывести в результат использованный DNS сервер при удачном запросе
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена опция Use sessions
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена настройка пресета антигейта для логина
  • Также в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] удалены настройки Use logins/Use sessions, теперь они включены всегда
  • Добавлена возможность автоматического удаления задания из Завершенных
  • В макросе подстановок {num} добавлена поддержка обратного отсчета
  • В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
  • В JavaScript парсерах добавлена возможность прямого сохранения в файл
  • В API методе oneRequest/bulkRequest добавлена возможность указать configPreset
  • В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг сниппетов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена пагинация в мобильной версии, а также парсинг сниппетов и рекламы в некоторых случаях
  • Исправлен парсинг цен в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа функции Remove bad accounts в парсерах Wordstat
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Количество неудачных больше не обнуляется при постановке на паузу
  • Исправлена проблема с подключением Node.js модулей на Linux
  • Исправлено падение парсера в редких ситуациях при использовании JS парсеров
  • Решена проблема с подключением Node.js модулей lodash, sequelize
  • Исправлена ошибка итератора при равных границах в макросе {num}
  Ответить с цитированием

Разгадывание рекаптч в JS парсере
Старый 18.05.2018, 11:36   #26
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 26
Благодарностей: 0
По умолчанию Разгадывание рекаптч в JS парсере

Разгадывание рекаптч в JS парсере

Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В уроке рассмотрено:
  • Описание и настройка парсера [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Описание принципа работы ReCaptcha2
  • Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч

Ссылки:
  • Тестирование работы ReCaptcha2: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Статья и готовый парсер: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием
Ответ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 04:38. Часовой пояс GMT +4.



Powered by vBulletin
Copyright © 2009-2016 UinSell.Net
Лицензия зарегистрирована на: UinSell

Перевод: zCarot