Вернуться   Форум Uinsell.Net > Веб-мастеру > Раскрутка и продвижение сайтов (SEO)
Войти через OpenID

Ответ
 
Опции темы Опции просмотра

Старый 06.11.2018, 13:31   #41
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 48
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Улучшения
  • Добавлено 2 новых парсера:
    • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - парсер картинок из DuckDuckGo
    • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]- парсер картинок из Dogpile
  • Полностью переписаны 2 парсера:
    • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - добавлены региональные настройки, поддержка рекаптчи, возможность задавать различные фильтры поиска и сбор анкоров, ссылок на страницу, ссылок на превью, а также типов изображений
    • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - добавлен сбор ссылок на превью
  • Улучшена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], а также увеличено максимальное количество страниц в настройках
  • Улучшена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], а также добавлена возможность парсить связанные ключевые слова
  • JS парсеры: оптимизирован вызов конструктора и init()
  • JS парсеры: добавлена поддержка async init()
Исправления в связи с изменениями в выдачеИсправления
  • Исправлена утечка памяти при большом количестве попыток
  • Исправлена ошибка, при которой в Тестовом парсинге при работе с некоторыми ссылками не завершался запрос
  • Исправлен парсинг различных параметров в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлено отображение русского языка (проблема появилась в предыдущей версии)
  • Исправлено зависание при работе [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] с антигейтом
  • JS парсеры: исправлена работа check_content
  • JS парсеры: исправлена работа с сессиями (проблема появилась в одной из предыдущих версий)
  Ответить с цитированием

Старый 16.11.2018, 15:38   #42
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 48
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Это вторая часть из цикла видео уроков о парсинге товаров из стороннего сайта и заливке их на собственный сайт на базе OpenCart через API.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этом уроке показано:
  • краткое содержание предыдущей части
  • запуск созданного пресета
  • демонстрация результатов работы
Первая часть: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Статья и готовый пресет опубликованы в нашем Каталоге: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
  Ответить с цитированием

Старый 23.11.2018, 12:15   #43
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 48
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 04.12.2018, 08:14   #44
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 48
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
27-й сборник рецептов. В нем собраны рецепты для парсинга списка соискателей на hh.ru, сбора списка юзерагентов и парсинга Авито с записью результатов в MySQL базу данных. Также показан пример отправки файлов в POST запросе. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
HeadHunter - это один из самых популярных ресурсов для поиска работы. Соответственно, сбор списка соискателей может быть интересен рекрутерам для более эффективного анализа потенциальных кандидатов. Готовое решение для парсинга доступно по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Сейчас существует много различных браузеров, которые работают на разных платформах. Многие сайты ограничивают работу со старыми браузерами, а некоторые не отдают контент даже при запросе с юзерагентом относительно нового браузера. В A-Parser можно задавать user-agent для запросов, также существует специальный инструмент, который позволяет при каждом запросе выбирать рандомный из заранее подготовленного списка. Пресет для парсинга таких списков, с возможностью фильтрации по различным параметрам, доступен по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Предыдущий пресет для парсинга Авито пользуется большой популярностью. Также наши пользователи часто спрашивают о возможности записи собранных результатов напрямую в базу данных. Поэтому мы подготовили JS парсер, который решает эту задачу. Как обычно, он доступен по ссылке выше.


Кроме этого:
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - пример решения задачи по отправке файлов в POST запросах.

Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!

Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
  Ответить с цитированием

Старый 14.12.2018, 15:18   #45
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 48
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В данном видео будет сделан краткий обзор некоторых методов API.
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом уроке рассмотрены:
  • обзор методов
  • составление JSON для методов ping,info и oneRequest
  • работа с API используя Postman
Оставляйте комментарии и подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 26.12.2018, 15:20   #46
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 48
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

уходящем году одним из приоритетных направлений стало развитие JavaScript парсеров и функционала по работе с Node.js. Одним из финальных этапов стал данный релиз, в котором была реализована долгожданная поддержка https/tls в Node.js модулях. Также усилия были сосредоточены на повышении стабильности и производительности. В результате этого было сделано множество наработок, которые уже в первой половине 2019 года планируется выпустить в виде нового A-Parser 2.0, где будет много новых и крутых возможностей.
Команда A-Parser поздравляет всех с Новым годом и Рождеством! Мы желаем вам успехов в делах, прибыльных проектов и ярких идей. Пускай Новый 2019 год будет годом новых возможностей, все задуманное сбывается, а работа приносит удовольствие!
Спасибо что Вы с нами!!!
В новогоднем релизе, кроме снеговика, было сделано следующее:
Улучшения
  • Добавлена поддержка https/tls в Node.js модулях, что позволяет использовать все модули, которые работают с API по https, а также по TLSSocket (smtp и т.п.)
  • Полностью переписан и обновлен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], добавлена возможность парсить мобильную выдачу, а также значительно увеличена производительность
  • Добавлен парсер позиций в Bing: [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Добавлен парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], позволяющий разгадывать каптчи без использования сторонних сервисов
  • Улучшен сбор почт в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Улучшена работа опции Dynamic threads limit
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] использование прокси для загрузки картинки каптчи теперь определяется параметром Use proxy парсера Яндекса
  • В связи с неактуальностью удалены [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления в связи с изменениями в выдачеИсправления
  • Исправлен Safe search в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлены падения при работе с [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена ошибка при работе с модулем mysql2 версии более 1.5.3
  • Исправлен парсинг количества результатов в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 05.01.2019, 14:57   #47
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 48
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Это 6-й сборник статей, и в нем мы разберемся, как подключать к парсеру Node.js модули, научимся сохранять собранные данные в формате YML, а также изучим работу с API на реальном примере с созданием простого приложения. Поехали!
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этой статье на реальном примере будет показана работа с A-Parser через API. В результате будет создано простое приложение, которое будет получать позицию сайта по ключу в Гугл или Яндекс. Все подробности - по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
YML (Yandex Market Language) - это стандарт представления данных, который используется для загрузки/выгрузки информации о товарах в Яндекс.Маркете. Используя А-Парсер, можно спарсить товары с различных сайтов и сохранить их в данном формате для дальнейшего импорта в Маркет. О том, как это сделать, можно почитать в статье по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Как известно, в A-Parser можно использовать Node.js модули для более эффективного парсинга. Поэтому, по ссылке выше мы опубликовали небольшой мануал по их установке и использованию.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Предыдущие сборники статей
  Ответить с цитированием

Старый 15.01.2019, 15:11   #48
Новичок
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 48
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
28-й сборник рецептов. В нем будет показан способ автоматизации парсинга данных из Wordstat, пример парсинга информации о приложениях со скидками в Google Play, а также готовое решение для сбора подсказок из Яндекс вместе с их типами. Поехали!

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Периодически в Google Play разработчики предлагают скидки на приложения, иногда на короткий срок платные становятся полностью бесплатными. С помощью A-Parser можно искать подобные предложения. Кроме этого, в этом парсере собирается множество дополнительных данных и используется сохранение в sqlite базу данных, поэтому его можно рассматривать как еще один пример работы с базами данных в А-Парсере. Готовое решение доступно в каталоге по ссылке выше.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В A-Parser есть стандартный парсер Яндекс подсказок, который по заданным ключевым словам собирает подсказки. Но Яндекс классифицирует подсказки по различным типам, которые в свою очередь позволяют использовать их более рационально, применяя соответствующие фильтры. Стандартный парсер подсказок не возвращает типы, поэтому по ссылке выше опубликован JS парсер для сбора подсказок вместе с их типами.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом парсере реализован автоматический сбор данных из WordStat. При этом, парсер проверяет наличие необходимых для данной задачи аккаунтов, и если требуется - то автоматически регистрирует их. Такое решение может быть полезно для организации периодического парсинга WordStat в автоматическом режиме. Готовое решение - по ссылке выше.


Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.
Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
  Ответить с цитированием
Ответ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 08:09. Часовой пояс GMT +4.



Powered by vBulletin
Copyright © 2009-2016 UinSell.Net
Лицензия зарегистрирована на: UinSell

Перевод: zCarot