Вернуться   Форум Uinsell.Net > Веб-мастеру > Раскрутка и продвижение сайтов (SEO)
Войти через OpenID

Ответ
 
Опции темы Опции просмотра

Старый 27.03.2018, 11:31   #21
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]


Улучшения
  • Добавлена поддержка SQLite в JavaScript парсерах и шаблонизаторе, пример использования [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Добавлена защита от случайного закрытия окна парсера
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлены Parse all results и Parse related to level
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] полностью переписан, добавлена возможность проверять домены на клей
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена поддержка ReCaptcha2
  • Улучшен парсинг сниппетов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Улучшен сбор почт в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления в связи с изменениями в выдаче
  • Обновлен алгоритм Bypass Cloudflare
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] почти полностью переписан в связи с изменением логики работы переводчика Bing
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] с некоторыми видами запросов
  • Исправлен парсинг related keywords, а также мобильной выдачи в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг related keywords в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при работе с русскоязычными запросами
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] на IPv6 прокси
  • Исправлена ошибка, из-за которой [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] собирал ссылки с пометкой опасных сайтов в общий массив ссылок
  • Исправлена работа с оператором поиска + в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг запросов со спецсимволами в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен баг с overrideOpts в JS парсерах
  • Исправлена работа с переменными при их создании в Parse custom results, а также при использовании нижнего подчеркивания в именах в Конструкторе результатов
  • Исправлена работа tools.js, баг появился в одной из предыдущих версий
  • Исправлен баг, из-за которого А-Парсер падал на некоторых ОС, появился в одной из предыдущих версий
  Ответить с цитированием

Старый 06.04.2018, 11:27   #22
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Третье видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать JS парсер, в котором будет поддержка антигейта для разгадывания каптч на страницах.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В уроке рассмотрено:
  • Создание JS-парсера для разгадывания капчи
  • Работа с объектом this.captcha внутри JavaScript кода
  • Описание процесса разгадывания каптчи, реализованного в A-Parser

Статья и готовый парсер: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Сборник рецептов #22: проверка индексации в нескольких ПС
Старый 17.04.2018, 11:24   #23
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию Сборник рецептов #22: проверка индексации в нескольких ПС

22-й сборник рецептов. В нем мы разберемся, как проверять индексацию всех страниц сайта одновременно в нескольких поисковиках, научимся парсить данные по ссылкам из выдачи одним заданием и будем искать сабдомены на сайтах. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Данный пресет позволяет спарсить ссылки на все страницы сайта и одновременно проверить их на предмет индексации поисковиками (в примере Google и Яндекс, можно по аналогии добавить другие ПС). Готовый пресет и описание по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Пример использования tools.query.add в JavaScript парсерах. Данный парсер получает ссылки из выдачи, после чего собирает из каждой страницы title и description. И все это одним заданием с максимальной производительностью, благодаря многопоточному парсингу. Парсер с описанием доступны по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Небольшой пример, который демонстрирует, как собрать поддомены одного или нескольких сайтов. Используется [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] для прохода вглубь по страницам сайта. При этом Конструктором результатов извлекаются из внутренних ссылок домены и выводятся с уникализацией по строке. Готовый пресет - по ссылке выше.


Кроме этого:
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - показаны все базовые возможности нового функционала по работе с SQLite
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники рецептов:
  Ответить с цитированием

Сборник статей #3
Старый 27.04.2018, 11:36   #24
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию Сборник статей #3

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

JS парсеры в А-Парсере появились уже около года назад. Благодаря им стало возможным решать очень сложные задачи по парсингу, реализовывая практически любую логику. В этой статье мы максимально подробно изучим работу с разными типами переменных, а также узнаем, как можно оптимизировать работу сложных парсеров. Все это - в статье по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Начиная с версии 1.2.152 в A-Parser появилась возможность [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
В данной статье мы рассмотрим разработку JavaScript парсера, который будет парсить курсы валют из сайта finance.i.ua и сохранять их в БД. В результате получится парсер, в котором продемонстрированы основные операции с базами данных. Подробности, а также готовый парсер - по ссылке выше.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники статей
  Ответить с цитированием

Старый 08.05.2018, 11:14   #25
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]


Улучшения
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - многократно увеличена скорость парсинга
  • Множество улучшений в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]:
    • Возможность указать несколько DNS и задать метод выбора
    • Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
    • Возможность вывести в результат использованный DNS сервер при удачном запросе
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена опция Use sessions
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена настройка пресета антигейта для логина
  • Также в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] удалены настройки Use logins/Use sessions, теперь они включены всегда
  • Добавлена возможность автоматического удаления задания из Завершенных
  • В макросе подстановок {num} добавлена поддержка обратного отсчета
  • В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
  • В JavaScript парсерах добавлена возможность прямого сохранения в файл
  • В API методе oneRequest/bulkRequest добавлена возможность указать configPreset
  • В связи с неактуальностью удалены парсеры SE::Google::Mobile и SE::Yandex::Catalog
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг сниппетов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлена пагинация в мобильной версии, а также парсинг сниппетов и рекламы в некоторых случаях
  • Исправлен парсинг цен в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа функции Remove bad accounts в парсерах Wordstat
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Количество неудачных больше не обнуляется при постановке на паузу
  • Исправлена проблема с подключением Node.js модулей на Linux
  • Исправлено падение парсера в редких ситуациях при использовании JS парсеров
  • Решена проблема с подключением Node.js модулей lodash, sequelize
  • Исправлена ошибка итератора при равных границах в макросе {num}
  Ответить с цитированием

Разгадывание рекаптч в JS парсере
Старый 18.05.2018, 11:36   #26
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию Разгадывание рекаптч в JS парсере

Разгадывание рекаптч в JS парсере

Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В уроке рассмотрено:
  • Описание и настройка парсера [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Описание принципа работы ReCaptcha2
  • Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч

Ссылки:
  • Тестирование работы ReCaptcha2: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Статья и готовый парсер: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Сборник рецептов #23
Старый 29.05.2018, 11:34   #27
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию Сборник рецептов #23

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных данных в YML можно посмотреть по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В поисковой выдаче Google возле новостей публикуется дата. Как правило, это могут быть метки "10 ч. назад" или "26 мая 2018 г.". Иногда может возникнуть задача спарсить все даты и привести их к единому виду. Как именно это сделать, можно узнать по ссылке выше.


Кроме этого:
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - новый функционал по работе с сессиями
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - возможность сохранять файлы в JS парсерах напрямую, минуя шаблонизатор
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!

Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники рецептов:
  Ответить с цитированием

1.2.216 - улучшения в SE::Google::Modern и JS парсерах
Старый 12.06.2018, 11:19   #28
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию 1.2.216 - улучшения в SE::Google::Modern и JS парсерах

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]



Улучшения
  • Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
  • Добавлен повтор без смены прокси при неудачной отправке рекаптчи в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Добавлен бан прокси при получении 403 кода ответа в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Процент неудачных запросов теперь отображается относительно числа выполненных запросов
  • Добавлена возможность вызвать URL после выполнения задания
  • Улучшен обзор каталогов при выборе файлов запросов
  • Добавлена поддержка setInterval в JavaScript парсерах
  • Уменьшено Wait between get status и улучшено логгирование в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Улучшена обработка редиректов
  • Добавлена защита от бесконечного выполнения в JavaScript парсерах
  • Значительно увеличены возможности check_content в JS парсерах
  • В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads
Исправления в связи с изменениями в выдачеИсправления
  • Исправлено ведение лога при нескольких паузах задания
  • Исправлена ошибка, из-за которой запрос считался неудачным при пустой выдаче в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа с url, содержащими фрагмент # в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг ссылок в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа опции Pages count в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен выбор файлов запросов на Windows 10
  • Исправлена ошибка, из-за которой иногда нельзя было удалить файл с запросами
  • Исправлено отображение проксичекера в конфиге потоков
  • Исправлена кодировка некоторых результатов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена ситуация, когда не читались настройки из config.txt
  Ответить с цитированием

Сборник рецептов #24
Старый 22.06.2018, 11:18   #29
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию Сборник рецептов #24

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В А-Парсере есть стандартный парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса, для работы обязательно нужно подключать антигейт. Кроме того, официальный сервис РКН часто подвергается атакам, в связи с чем может быть недоступен. Но существуют альтернативные источники данных, доступность которых значительно выше и к тому же не требующие проверки в виде каптчи. Парсинг одного из таких источников и реализован в пресете по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Как известно, в A-Parser есть возможность чтения/записи данных в БД SQLite. В этом рецепте показано использование этого функционала на примере парсинга курсов валют. Готовый парсер доступен по ссылке выше.


Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!

Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники рецептов:
  Ответить с цитированием

Старый 03.07.2018, 11:19   #30
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]


Улучшения
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json)
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] полностью переписан:
    • добавлен парсинг related keywords
    • убран $cachedate из $serp, т.к. его похоже больше нет в выдаче
    • добавлена опция Get full link, преобразующая обрезанные ссылки в полные
    • исправлены некоторые регулярные выражения и баг с двойным http в ссылках
  • Изменения в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]:
    • Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL
    • Убран параметр Extract domain
    • Исправлена работа в некоторых случаях
  • Улучшена отзывчивость в редакторе JavaScript парсеров
  • Улучшена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], устранены зависания, которые возникали на определенных страницах
  • Обновлен список регионов в парсерах Яндекс
  • Пустой результат в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] больше не считается неудачным запросом
  • Улучшена работа с сессиями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг рекламы в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа, а также улучшен алгоритм парсинга в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлено указание региона в парсерах Яндекс
  • Исправлен парсинг $ads.$i.visiblelink в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг $totalcount в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Исправлена ошибка, из-за которой процент обработанных запросов мог быть больше 100
  • Исправлены ошибки, из-за которых парсинг мог зависать при снятии с паузы, а также сбивался перебор в макросах подстановок
  • Исправлено отображение кириллицы в $headers в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена ошибка в Конструкторе результатов, из-за которой в редких случаях парсер мог падать
  • Устранена проблема с кодировкой при работе с SQLite
  • Исправлена ошибка со сменой прокси в JavaScript парсерах
  Ответить с цитированием

Сборник статей #4
Старый 13.07.2018, 11:22   #31
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию Сборник статей #4

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В 4-м сборнике статей будет рассмотрено добавление товаров в OpenCart, а также описано создание универсального парсера JSON. В каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Данная статья начинает цикл об одной из наиболее часто запрашиваемых возможностей - заливке товаров в интернет-магазин. A-Parser - это универсальный инструмент, который кроме прочего может решать и такие задачи. Для тестов выбран движок OpenCart, в 1-й статье будет рассмотрена авторизация, получение списка товаров и добавление товара. Подробности, а также пример парсера - по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

JSON - это довольно популярный способ предоставления данных, который, например, часто используется при работе с API различных сервисов. В А-Парсере есть встроенные инструменты для работы с ним, но не всегда их применение может быть простым, иногда требуется дополнительно писать сложные шаблоны, используя шаблонизатор. Поэтому в статье по ссылке выше будет рассказано, как написать простой универсальный парсер JSON.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники статей
  Ответить с цитированием

Видео урок: Создание JS парсеров. Работа с SQLite
Старый 24.07.2018, 11:21   #32
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию Видео урок: Создание JS парсеров. Работа с SQLite

Видео урок: Создание JS парсеров. Работа с SQLite

Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео показано, как работать с базой данных SQLite в JS парсере.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этом уроке рассмотрены:
- Знакомство с языком запросов SQL
- Создание простейшей базы данных SQLite при работе с JS-парсером
- Получение и запись данных в базу SQLite при работе с JS-парсером

Ссылки:
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - учебник по SQL
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - тоже учебник по SQL
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - сайт, который использовался в качестве примера
- [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - статья и готовый парсер

Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 03.08.2018, 11:10   #33
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]



Улучшения
  • Добавлен новый парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] улучшена обработка портов по умолчанию, теперь ссылки с портом приводятся к каноническому виду
  • Оптимизирована работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Улучшена работа с сессиями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Улучшена обработка некорректных ответов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления в связи с изменениями в выдачеИсправления
  • Исправлена проблема с запуском на некоторых linux дистрибутивах
  • Исправлена загрузка node.js модулей в редких случаях на Windows
  • JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
  • JS парсеры: исправлен util.promisify
  • Исправлена работа некоторых Node.js модулей
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] $totalcount при 0 результатов теперь возвращает 0
  • Исправлено логгирование в режиме foreground
  Ответить с цитированием

Старый 14.08.2018, 08:55   #34
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
25-й сборник рецептов. В нем будет показан способ периодического парсинга с дозаписью результатов в таблицу, рассмотрен парсинг с помощью Node.js модуля Cheerio без использования регулярных выражений, а также показан парсер первой мобильной поисковой системы в Китае - Shenma. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Пример решения одной из наиболее запрашиваемых задач - дозапись периодически получаемых результатов в одну и ту же таблицу. В качестве хранилища данных используется SQLite, при каждом запуске данные добавляются и выводятся в таблицу. Готовый пресет с комментариями - по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Как известно, в основе почти любого парсера используются регулярные выражения, реже - XPath. Работа с этими методами требует определенных знаний, что в свою очередь может вызывать некоторые сложности. Поэтому существуют и другие методы. Использование одного из них на примере парсинга популярного в Китае поисковика Haosou, показано по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Еще один китайский поисковик в этом сборнике - Shenma. Это первая мобильная поисковая система в Китае, ориентирована в первую очередь на мобильные сайты. Пресет - по ссылке выше.


Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники рецептов:
  Ответить с цитированием

Старый 24.08.2018, 13:02   #35
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В одной из наших [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]мы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.

В этом уроке рассмотрено:
  • Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
  • Подстановка запросов в задание "на лету"
  • Использование стандартных парсеров в кастомных JavaScript парсерах
Ссылки:Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
  Ответить с цитированием

Старый 14.09.2018, 13:15   #36
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В 5-м сборнике статей на реальном примере будет показано, как создать свой канал в Телеграме и полностью автоматизировать его наполнение контентом. Также мы продолжаем цикл статей по работе с OpenCart и во 2-й части будет рассмотрен вопрос массового добавления товаров. Как обычно, в каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этой статье будет описан способ создания полноценного канала в Telegram c автоматизированным сбором контента и постингом сообщений через заданные интервалы. И конечно, все это на базе A-Parser. Все подробности, а также готовые пресеты - по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Мы продолжаем цикл статей о заливке товаров в интернет-магазин на базе OpenCart. Во второй части будет рассмотрено массовое добавление товара. Подробности, а также пример готового парсера - по ссылке выше.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники статей
  Ответить с цитированием

Старый 25.09.2018, 13:52   #37
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Данный парсер является примером для разработки парсера работающего с OpenCart. Решение демонстрирует возможность сбора данных о товарах из стороннего сайта и заливку их на собственный сайт на базе OpenCart через API.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом уроке рассмотрены:
  • парсинг товаров из интернет-магазина
  • авторизация в OpenCart
  • работа с API OpenCart для публикации товаров

Статья и готовый пресет опубликованы в нашем Каталоге: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 05.10.2018, 18:17   #38
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 38
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Улучшения
  • Добавлен новый парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Добавлена совместимость с модулем mysql2 в JavaScript парсерах
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена поддержка сервиса R.I.P.captcha
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность выбора страны
  • Уменьшено потребление оперативной памяти, а также оптимизирована начальная загрузка, интерфейс теперь открывается быстрее
  • База регионов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] обновлена и значительно увеличена
  • Для всех стандартных парсеров, кроме тех, которые работают на основе [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], из настроек убраны Max body size и Use gzip
  • Улучшен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг рекламы в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] для регионов, отличных от российских
  • Полностью обновлен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена проблема с загрузкой каптчи в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен парсинг количества результатов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Исправлена работа с прокси при получении каптчи в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • В очень редких случаях в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] могла возникать ошибка Content mismatch
  • Исправлен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при работе с .eu доменами
  Ответить с цитированием
Ответ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 23:15. Часовой пояс GMT +4.



Powered by vBulletin
Copyright © 2009-2016 UinSell.Net
Лицензия зарегистрирована на: UinSell

Перевод: zCarot