Вернуться   Форум Uinsell.Net > Веб-мастеру > Раскрутка и продвижение сайтов (SEO)
Войти через OpenID

Ответ
 
Опции темы Опции просмотра

Старый 27.03.2018, 11:31   #21
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]


Улучшения
  • Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Добавлена защита от случайного закрытия окна парсера
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлены Parse all results и Parse related to level
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] полностью переписан, добавлена возможность проверять домены на клей
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена поддержка ReCaptcha2
  • Улучшен парсинг сниппетов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Улучшен сбор почт в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления в связи с изменениями в выдаче
  • Обновлен алгоритм Bypass Cloudflare
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] почти полностью переписан в связи с изменением логики работы переводчика Bing
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] с некоторыми видами запросов
  • Исправлен парсинг related keywords, а также мобильной выдачи в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг related keywords в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при работе с русскоязычными запросами
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] на IPv6 прокси
  • Исправлена ошибка, из-за которой [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] собирал ссылки с пометкой опасных сайтов в общий массив ссылок
  • Исправлена работа с оператором поиска + в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг запросов со спецсимволами в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен баг с overrideOpts в JS парсерах
  • Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов
  • Исправлена работа tools.js, баг появился в одной из предыдущих версий
  • Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий
  Ответить с цитированием

Старый 06.04.2018, 11:27   #22
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В уроке рассмотрено:
  • Создание JS-парсера для разгадывания капчи
  • Работа с объектом this.captcha внутри JavaScript кода
  • Описание процесса разгадывания каптчи, реализованного в A-Parser

Статья и готовый парсер: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Сборник рецептов #22: проверка индексации в нескольких ПС
Старый 17.04.2018, 11:24   #23
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию Сборник рецептов #22: проверка индексации в нескольких ПС

22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.


Кроме этого:
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - показаны все базовые возможности нового функционала по работе с SQLite
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники рецептов:
  Ответить с цитированием

Сборник статей #3
Старый 27.04.2018, 11:36   #24
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию Сборник статей #3

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

JS парсеры в А-Парсере появились уже около года назад. Благодаря им стало возможным решать очень сложные задачи по парсингу, реализовывая практически любую логику. В этой статье мы максимально подробно изучим работу с разными типами переменных, а также узнаем, как можно оптимизировать работу сложных парсеров. Все это - в статье по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Начиная с версии 1.2.152 в A-Parser появилась возможность [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
В данной статье мы рассмотрим разработку JavaScript парсера, который будет парсить курсы валют из сайта finance.i.ua и сохранять их в БД. В результате получится парсер, в котором продемонстрированы основные операции с базами данных. Подробности, а также готовый парсер - по ссылке выше.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники статей
  Ответить с цитированием

Старый 08.05.2018, 11:14   #25
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]


Улучшения
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - многократно увеличена скорость парсинга
  • Множество улучшений в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]:
    • Возможность указать несколько DNS и задать метод выбора
    • Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
    • Возможность вывести в результат использованный DNS сервер при удачном запросе
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена опция Use sessions
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена настройка пресета антигейта для логина
  • Также в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] удалены настройки Use logins/Use sessions, теперь они включены всегда
  • Добавлена возможность автоматического удаления задания из Завершенных
  • В макросе подстановок {num} добавлена поддержка обратного отсчета
  • В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
  • В JavaScript парсерах добавлена возможность прямого сохранения в файл
  • В API методе oneRequest/bulkRequest добавлена возможность указать configPreset
  • В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг сниппетов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена пагинация в мобильной версии, а также парсинг сниппетов и рекламы в некоторых случаях
  • Исправлен парсинг цен в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа функции Remove bad accounts в парсерах Wordstat
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Количество неудачных больше не обнуляется при постановке на паузу
  • Исправлена проблема с подключением Node.js модулей на Linux
  • Исправлено падение парсера в редких ситуациях при использовании JS парсеров
  • Решена проблема с подключением Node.js модулей lodash, sequelize
  • Исправлена ошибка итератора при равных границах в макросе {num}
  Ответить с цитированием

Разгадывание рекаптч в JS парсере
Старый 18.05.2018, 11:36   #26
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию Разгадывание рекаптч в JS парсере

Разгадывание рекаптч в JS парсере

Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В уроке рассмотрено:
  • Описание и настройка парсера [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Описание принципа работы ReCaptcha2
  • Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч

Ссылки:
  • Тестирование работы ReCaptcha2: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Статья и готовый парсер: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Сборник рецептов #23
Старый 29.05.2018, 11:34   #27
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию Сборник рецептов #23

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных данных в YML можно посмотреть по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В поисковой выдаче Google возле новостей публикуется дата. Как правило, это могут быть метки "10 ч. назад" или "26 мая 2018 г.". Иногда может возникнуть задача спарсить все даты и привести их к единому виду. Как именно это сделать, можно узнать по ссылке выше.


Кроме этого:
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - новый функционал по работе с сессиями
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - возможность сохранять файлы в JS парсерах напрямую, минуя шаблонизатор
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!

Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники рецептов:
  Ответить с цитированием

1.2.216 - улучшения в SE::Google::Modern и JS парсерах
Старый 12.06.2018, 11:19   #28
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию 1.2.216 - улучшения в SE::Google::Modern и JS парсерах

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]



Улучшения
  • Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
  • Добавлен повтор без смены прокси при неудачной отправке рекаптчи в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Добавлен бан прокси при получении 403 кода ответа в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Процент неудачных запросов теперь отображается относительно числа выполненных запросов
  • Добавлена возможность вызвать URL после выполнения задания
  • Улучшен обзор каталогов при выборе файлов запросов
  • Добавлена поддержка setInterval в JavaScript парсерах
  • Уменьшено Wait between get status и улучшено логгирование в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Улучшена обработка редиректов
  • Добавлена защита от бесконечного выполнения в JavaScript парсерах
  • Значительно увеличены возможности check_content в JS парсерах
  • В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads
Исправления в связи с изменениями в выдачеИсправления
  • Исправлено ведение лога при нескольких паузах задания
  • Исправлена ошибка, из-за которой запрос считался неудачным при пустой выдаче в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа с url, содержащими фрагмент # в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг ссылок в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа опции Pages count в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен выбор файлов запросов на Windows 10
  • Исправлена ошибка, из-за которой иногда нельзя было удалить файл с запросами
  • Исправлено отображение проксичекера в конфиге потоков
  • Исправлена кодировка некоторых результатов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена ситуация, когда не читались настройки из config.txt
  Ответить с цитированием

Сборник рецептов #24
Старый 22.06.2018, 11:18   #29
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию Сборник рецептов #24

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В А-Парсере есть стандартный парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса, для работы обязательно нужно подключать антигейт. Кроме того, официальный сервис РКН часто подвергается атакам, в связи с чем может быть недоступен. Но существуют альтернативные источники данных, доступность которых значительно выше и к тому же не требующие проверки в виде каптчи. Парсинг одного из таких источников и реализован в пресете по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Как известно, в A-Parser есть возможность чтения/записи данных в БД SQLite. В этом рецепте показано использование этого функционала на примере парсинга курсов валют. Готовый парсер доступен по ссылке выше.


Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!

Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники рецептов:
  Ответить с цитированием

Старый 03.07.2018, 11:19   #30
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]


Улучшения
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json)
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] полностью переписан:
    • добавлен парсинг related keywords
    • убран $cachedate из $serp, т.к. его похоже больше нет в выдаче
    • добавлена опция Get full link, преобразующая обрезанные ссылки в полные
    • исправлены некоторые регулярные выражения и баг с двойным http в ссылках
  • Изменения в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]:
    • Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL
    • Убран параметр Extract domain
    • Исправлена работа в некоторых случаях
  • Улучшена отзывчивость в редакторе JavaScript парсеров
  • Улучшена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], устранены зависания, которые возникали на определенных страницах
  • Обновлен список регионов в парсерах Яндекс
  • Пустой результат в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] больше не считается неудачным запросом
  • Улучшена работа с сессиями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг рекламы в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа, а также улучшен алгоритм парсинга в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлено указание региона в парсерах Яндекс
  • Исправлен парсинг $ads.$i.visiblelink в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг $totalcount в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Исправлена ошибка, из-за которой процент обработанных запросов мог быть больше 100
  • Исправлены ошибки, из-за которых парсинг мог зависать при снятии с паузы, а также сбивался перебор в макросах подстановок
  • Исправлено отображение кириллицы в $headers в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена ошибка в Конструкторе результатов, из-за которой в редких случаях парсер мог падать
  • Устранена проблема с кодировкой при работе с SQLite
  • Исправлена ошибка со сменой прокси в JavaScript парсерах
  Ответить с цитированием

Сборник статей #4
Старый 13.07.2018, 11:22   #31
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию Сборник статей #4

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В 4-м сборнике статей будет рассмотрено добавление товаров в OpenCart, а также описано создание универсального парсера JSON. В каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Данная статья начинает цикл об одной из наиболее часто запрашиваемых возможностей - заливке товаров в интернет-магазин. A-Parser - это универсальный инструмент, который кроме прочего может решать и такие задачи. Для тестов выбран движок OpenCart, в 1-й статье будет рассмотрена авторизация, получение списка товаров и добавление товара. Подробности, а также пример парсера - по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

JSON - это довольно популярный способ предоставления данных, который, например, часто используется при работе с API различных сервисов. В А-Парсере есть встроенные инструменты для работы с ним, но не всегда их применение может быть простым, иногда требуется дополнительно писать сложные шаблоны, используя шаблонизатор. Поэтому в статье по ссылке выше будет рассказано, как написать простой универсальный парсер JSON.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники статей
  Ответить с цитированием

Видео урок: Создание JS парсеров. Работа с SQLite
Старый 24.07.2018, 11:21   #32
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию Видео урок: Создание JS парсеров. Работа с SQLite

Видео урок: Создание JS парсеров. Работа с SQLite

Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео показано, как работать с базой данных SQLite в JS парсере.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этом уроке рассмотрены:
- Знакомство с языком запросов SQL
- Создание простейшей базы данных SQLite при работе с JS-парсером
- Получение и запись данных в базу SQLite при работе с JS-парсером

Ссылки:
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - учебник по SQL
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - тоже учебник по SQL
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - сайт, который использовался в качестве примера
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - статья и готовый парсер

Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 03.08.2018, 11:10   #33
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]



Улучшения
  • Добавлен новый парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] улучшена обработка портов по умолчанию, теперь ссылки с портом приводятся к каноническому виду
  • Оптимизирована работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Улучшена работа с сессиями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Улучшена обработка некорректных ответов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления в связи с изменениями в выдачеИсправления
  • Исправлена проблема с запуском на некоторых linux дистрибутивах
  • Исправлена загрузка node.js модулей в редких случаях на Windows
  • JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
  • JS парсеры: исправлен util.promisify
  • Исправлена работа некоторых Node.js модулей
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] $totalcount при 0 результатов теперь возвращает 0
  • Исправлено логгирование в режиме foreground
  Ответить с цитированием

Старый 14.08.2018, 08:55   #34
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
25-й сборник рецептов. В нем будет показан способ периодического парсинга с дозаписью результатов в таблицу, рассмотрен парсинг с помощью Node.js модуля Cheerio без использования регулярных выражений, а также показан парсер первой мобильной поисковой системы в Китае - Shenma. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Пример решения одной из наиболее запрашиваемых задач - дозапись периодически получаемых результатов в одну и ту же таблицу. В качестве хранилища данных используется SQLite, при каждом запуске данные добавляются и выводятся в таблицу. Готовый пресет с комментариями - по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Как известно, в основе почти любого парсера используются регулярные выражения, реже - XPath. Работа с этими методами требует определенных знаний, что в свою очередь может вызывать некоторые сложности. Поэтому существуют и другие методы. Использование одного из них на примере парсинга популярного в Китае поисковика Haosou, показано по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Еще один китайский поисковик в этом сборнике - Shenma. Это первая мобильная поисковая система в Китае, ориентирована в первую очередь на мобильные сайты. Пресет - по ссылке выше.


Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники рецептов:
  Ответить с цитированием

Старый 24.08.2018, 13:02   #35
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В одной из наших [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]мы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.

В этом уроке рассмотрено:
  • Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
  • Подстановка запросов в задание "на лету"
  • Использование стандартных парсеров в кастомных JavaScript парсерах
Ссылки:Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
  Ответить с цитированием

Старый 14.09.2018, 13:15   #36
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В 5-м сборнике статей на реальном примере будет показано, как создать свой канал в Телеграме и полностью автоматизировать его наполнение контентом. Также мы продолжаем цикл статей по работе с OpenCart и во 2-й части будет рассмотрен вопрос массового добавления товаров. Как обычно, в каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этой статье будет описан способ создания полноценного канала в Telegram c автоматизированным сбором контента и постингом сообщений через заданные интервалы. И конечно, все это на базе A-Parser. Все подробности, а также готовые пресеты - по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Мы продолжаем цикл статей о заливке товаров в интернет-магазин на базе OpenCart. Во второй части будет рассмотрено массовое добавление товара. Подробности, а также пример готового парсера - по ссылке выше.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники статей
  Ответить с цитированием

Старый 25.09.2018, 13:52   #37
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Данный парсер является примером для разработки парсера работающего с OpenCart. Решение демонстрирует возможность сбора данных о товарах из стороннего сайта и заливку их на собственный сайт на базе OpenCart через API.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом уроке рассмотрены:
  • парсинг товаров из интернет-магазина
  • авторизация в OpenCart
  • работа с API OpenCart для публикации товаров

Статья и готовый пресет опубликованы в нашем Каталоге: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 05.10.2018, 18:17   #38
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Улучшения
  • Добавлен новый парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Добавлена совместимость с модулем mysql2 в JavaScript парсерах
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена поддержка сервиса R.I.P.captcha
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность выбора страны
  • Уменьшено потребление оперативной памяти, а также оптимизирована начальная загрузка, интерфейс теперь открывается быстрее
  • База регионов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] обновлена и значительно увеличена
  • Для всех стандартных парсеров, кроме тех, которые работают на основе [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из настроек убраны Max body size и Use gzip
  • Улучшен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг рекламы в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] для регионов, отличных от российских
  • Полностью обновлен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена проблема с загрузкой каптчи в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг количества результатов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Исправлена работа с прокси при получении каптчи в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • В очень редких случаях в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] могла возникать ошибка Content mismatch
  • Исправлен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при работе с .eu доменами
  Ответить с цитированием

Старый 16.10.2018, 13:17   #39
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Это видео демонстрирует возможность создания полноценного Telegram канала на базе A-Parser. Парсер периодически и без вмешательства пользователя будет собирать контент и публиковать его на канале.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В уроке рассмотрены:
  • Регистрация и настройка канала в Телеграм.
  • Последовательное выполнение нескольких заданий.
  • Сохранение промежуточных данных в базу SQLite с последующим чтением.
  • Настройка пресета для постинга сообщений в Telegram-канал.
Статья с подробным описанием процесса создания: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Ссылки на готовые пресеты:
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 26.10.2018, 13:51   #40
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 44
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
26-й сборник рецептов. В нем будут показаны: проверка наличия мобильной версии сайта через Bing, парсинг полного списка регионов Яндекса и способ поиска упоминаний домена в индексе поисковой системы. Также показан пример работы с Node.js модулем mysql2, который позволяет работать с MySQL базами данных. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
На сегодняшний день наличие мобильной версии является одним из важнейших критериев качества сайта. По данным различных организаций доля мобильного трафика уже давно превышает десктопный. Именно поэтому мобильная версия сайта позволяет увеличить посещаемость сайта, ведь большинство крупных поисковиков отдают предпочтение в выдаче сайтам, имеющим полноценную мобильную версию. Проверить наличие и соответствие стандартам можно с помощью небольшого пресета по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Яндекс не публикует в открытом виде полного списка всех регионов, используемых в поиске. И как оказалось, найти полную и актуальную базу в интернете практически невозможно. Поэтому мы исправляем это и по ссылке выше публикуем JavaScript парсер, который позволяет собрать свежую и максимально полную базу регионов Яндекса.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Иногда возникает задача по поиску упоминаний домена в индексе поисковой системы. Именно с такой задачей к нам обратился один из пользователей A-Parser. Поэтому по ссылке выше мы публикуем пресет, решающий данную задачу.


Кроме этого:Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
  Ответить с цитированием
Ответ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 04:55. Часовой пояс GMT +4.



Powered by vBulletin
Copyright © 2009-2016 UinSell.Net
Лицензия зарегистрирована на: UinSell

Перевод: zCarot