Вернуться   Форум Uinsell.Net > Веб-мастеру > Раскрутка и продвижение сайтов (SEO)
Войти через OpenID

Ответ
 
Опции темы Опции просмотра

Старый 08.02.2020, 04:47   #81
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.



[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.



[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.



Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 19.02.2020, 18:04   #82
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.



[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.



[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 03.03.2020, 08:53   #83
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]



Улучшения
  • Добавлен новый парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - поиск картинок в Яндексе по ссылке
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность собирать ссылки на локации
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена поддержка сессий
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность определять считается ли домен "официальным"
  • Улучшения в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] для более качественного сбора почт
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] обновлен и значительно расширен список регионов
  • Из [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] удален парсинг $related в связи с тем, что связанные ключевые слова больше не выводятся на странице выдачи
Исправления в связи с изменениями в выдачеИсправления
  • Исправлен выбор страны в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен баг с декодированием ссылок в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • В режиме -newnode исправлены проблемы с кодировкой и оптимизировано потребление памяти

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 16.03.2020, 16:19   #84
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этом видео уроке рассмотрен парсинг ресурса booking.com, получение результатов поиска квартир и отелей на сайте. Подробную информацию о них будем получать при помощи парсера [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В видео рассмотрено
  • Пользование разделом тестового парсинга
  • Переход по страницам пагинации
  • Проверка наличия определенного контента на странице сайта
  • Использование регулярных выражений
  • Применение конструктора результатов (декодирование HTML сущностей)
  • Применение шаблонизатора Template Toolkit в формате результата:
    • Использование инструмента $tools.CSVline
    • Циклическая обработка директивой FOREACH
    • Виртуальный метод .match
    • Фильтры: .remove, .collapse, .replace

Полезные ссылки
Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 27.03.2020, 07:23   #85
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Представляем вашему вниманию 39-й сборник рецептов, в который вошли:
  • телеграмм бот опросник
  • парсер агрегатора цен hotline.ua
  • парсер аукционов транспортных средств copart.com
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Данный бот позволяет организовать ежедневный опрос сотрудников, при этом список вопросов можно гибко менять. Все настройки берутся из Google таблицы, а также туда пишутся ответы по каждому сотруднику.
Также, этот пример демонстрирует возможность создания телеграмм бота на базе A-Parser и работу с Google таблицами.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

hotline.ua - это самый большой агрегатор цен в Украине. С его помощью можно мониторить и анализировать цены на товары у конкурентов или искать наиболее выгодные предложения среди большого количества интернет-магазинов.



[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Copart является одним из крупнейших интернет аукционов, специализирующихся на продаже новых и б/у автомобилей. По официальной информации каждый день на аукционе выставляется на продажу более 150 000 транспортных средств.



Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 08.04.2020, 09:59   #86
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Мы начинаем публикацию серии коротких видеоуроков, каждый из которых будет посвящен какому-то одному функционалу.
И в этом уроке будут рассмотрены варианты формирования имени файла результата.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В видео рассмотрено:
  • Нумерация файла результата в соответствии с запросами
  • Нумерация файла результата + часть имени запроса
  • Именование файла результата по запросу, если запрос линк

Полезные ссылки:
Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 17.04.2020, 14:04   #87
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]



Улучшения
  • Добавлен парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
    • собираются списки подсказок и варианты ключевых слов
    • для каждого варианта парсится среднее кол-во запросов в месяц, конкуренция, объемы поиска, а также минимальная и максимальная ставки
    • присутствует возможность указывать несколько ключевых слов в запросе
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена функция Get full links to page, которая позволяет получать реальные ссылки на страницы
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлены переменные сбор количества отзывов и оценок, а также рейтинга
  • Улучшена проверка правильности разгадывания каптчи в парсерах Яндекса
  • Автоматическое увеличение лимитов на ОС Linux
  • Улучшена работа с регулярными выражениями
  • При бане прокси в лог задания теперь выводится более детальная информация
  • Native NodeJS переведена из стадии альфы в бету, проведено множество оптимизаций, за счет чего в большинстве сценариев это дает повышение максимальной скорости в 1.5-2 раза, а также уменьшение потребление памяти в 2-4 раза
    • Начиная с 1.2.822 все бета версии имеют включенный Native NodeJS, стабильные версии выходят с включенным oldnode
  • Native NodeJS: добавлена экспериментальная поддержка HTTP/2
  • Native NodeJS: обновление Node.js до актуальной версии
  • JS парсеры: добавлена опция allow_dangerous_node_modules, подробнее [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления в связи с изменениями в выдаче
  • Исправлено скачивание каптчи в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]: в $anchors переменная $bl заменена на $domains
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлены:
    • парсинг mobile news
    • баг с дублированием ссылок в выдаче
    • парсинг анкоров в рекламе, связанных ключевых слов, а также первый результат в выдаче не всегда попадал в serp
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] исправлен парсинг gif
  • Исправлен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], убраны flat переменные $height и $width
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Исправления
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] с доменами 3го уровня, а также улучшена проверка получаемого ответа
  • Исправлена работа Extra query string в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при получении ответа без данных
  • Исправлен баг с типами переменных
  • Исправлена ошибка, при которой запросы ошибочно считались неудачными при постановке задания на паузу
  • Исправлена работа Bypass Cloudflare
  • Исправлен динамический лимит потоков
  • Исправлена ошибка при использовании Request delay
  • Исправлено предупреждение о превышении лимита в Поле запросов
  • Исправлена работа $tools.task.id в имени файла результата
  • JS парсеры: исправлены получение сессий и работа http2 (баг появился в одной из предыдущих версий)
  • JS парсеры: исправлено определение кодировки страницы
  • Native NodeJS: исправлено поведение при некоторых ошибках
  • Native NodeJS: исправлена проблема при обновлении A-Parser на OS Windows
  • Native NodeJS: исправлена работа save_to_file, а также еще ряд ошибок
  • Native NodeJS: исправлена работа SOCKS5 с авторизацией
  • Native NodeJS: исправлена подстановка данных после Конструктора запросов
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 28.04.2020, 14:02   #88
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]


Представляем вашему вниманию 40-й сборник рецептов, в который вошли:
  • парсер данных о посещаемости организаций
  • парсер данных о SSL сертификатах
  • парсер товаров на ikea.com
  • комплексный пресет для анализа доменов по ряду характеристик
  • способ извлечения доменов из ссылок без фактического захода на страницу

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
Представляем парсер, который собирает данные о посещаемости.



[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.



[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Парсер данных из ikea.com, который позволяет собирать различную информацию о товарах. Согласно данным из Википедии, ikea - это одна из крупнейших в мире торговых сетей по продаже мебели и товаров для дома.



Кроме этого:
Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Видео урок: Сохранение результатов в несколько файлов используя переменные, массивы и условия
Старый 08.05.2020, 15:37   #89
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию Видео урок: Сохранение результатов в несколько файлов используя переменные, массивы и условия

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
В этом видео уроке рассмотрены способы сохранения результатов в несколько файлов, используя переменные и массив, при определенных условиях.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В видео рассмотрено:
  • Вывод результатов в разные файлы с разными именами используя переменные
  • Вывод результатов для каждого файла отдельно по определенному условию
  • Вывод результатов для двух файлов с условием, используя массив
Полезные ссылки:
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - Шаблонизатор Template Toolkit
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - условная обработка (IF, UNLESS, ELSIF, ELSE)
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - циклическая обработка FOREACH
  • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - тестировщик заданий
Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 18.05.2020, 13:21   #90
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Представляем 41-й сборник рецептов, который полностью посвящен использованию различных Node.js модулей в A-Parser.
  • Работа с Google таблицами
  • Отправка писем из А-Парсера
  • Авторизация с помощью puppeteer
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Еще один пример по заявкам наших пользователей, демонстрирующий загрузку страницы, авторизацию на ресурсе и простую навигацию.



Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!

Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 12.06.2020, 13:24   #91
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]



Мы завершили переход на NodeJS в качестве основного движка для парсеров и представляем новую стабильную версию 1.2.912 с поддержкой NodeJS 14.2.0. Данное обновление сочетает в себе множество улучшений, включая повышение производительности, уменьшение потребления памяти, полностью новый сетевой стек, а также поддержку нативных NodeJS модулей, позволяющую использовать всю мощь каталога npmjs в A-Parser'е

Также в данное обновление включены изменения по работе с ReCaptcha2 в парсере Google, наша команда одна из первых нашла решение по обходу новой версии рекаптчи и протестировала его совместно с сервисом RuCaptcha, за что им отдельный респект. На данный момент корректный обход каптчи протестирован с RuCaptcha, Anti-Captcha, XEvil и CapMonster.

Помимо этого было произведено множество оптимизаций в ядре A-Parser'а, значительно увеличилась производительность при использовании большого числа заданий или больших списков прокси. Парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] был полностью переписан и стабилизирован, добавлена поддержка нового формата apps.json и поддержка пользовательских правил.

Улучшения
  • NodeJS обновлен до v14.2.0, v8 до 8.1
  • Добавлена поддержка параметра data-s в рекаптчах для [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], также добавлена опция ReCaptcha2 pass proxy
  • Увеличен лимит потоков до 10000 для OS Windows
  • Значительно улучшена производительность при большом числе активных прокси и/или заданий, полностью переписан стек по работе с прокси, оптимизирована работа с большими списками
  • Добавлен новый парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Полностью переписаны на JS [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Улучшена производительность при использовании регулярных выражений, а также улучшена совместимость
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлено автоматическое получение токена
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность парсить ссылки на кэшированные страницы, а также добавлена возможность парсить мобильную выдачу
  • В парсере [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при выборе провайдера Capmonster или Xevil теперь необязательно указывать Provider url
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена возможность указывать произвольный диапазон дат
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлен выбор движка регулярок и поддержка собственного файла с признаками
  • В [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] добавлена опция Don't scrape if no other sizes, которая позволяет отключить сбор результатов, если искомой картинки нет в других размерах
  • [NodeJS] Добавлена защита от бесконечных циклов и долгих регулярок
  • [NodeJS] Исправлена работа this.cookies.getAll()
  • [JS парсеры] Добавлена опция follow_meta_refresh для this.request
  • [JS парсеры] Добавлена опция bypass_cloudflare для this.request
  • [JS парсеры] Underscore заменен на Lodash
  • [JS парсеры] В логе добавлена пометка при вызове других парсеров
  • [JS парсеры] Использование предыдущего прокси после запроса к другому парсеру
  • [JS парсеры] Добавлен метод destroy()
Исправления в связи с изменениями в выдачеИсправления
  • Исправлен баг, из-за которого игнорировался выбранный проксичекер
  • Исправлена работа функций Decode HTML entities и Extract domain в Конструкторе результатов
  • Исправлена проблема с определением кодировки
  • Исправлена ошибка использования $tools.query
  • Исправлен баг в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при котором использовались все попытки при отсутствии результатов
  • Исправлена работа http2
  • Исправлена ошибка, когда парсер падает из-за невозможности писать в alive.txt
  • Исправлено разгадывание каптч в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлена разница в запросах, отправляемых через [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и JS
  • Исправлен баг в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  • Исправлены ошибки в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] при выборе приложения без категории
  • [NodeJS] Исправлен подсчет времени исполнения кода парсера
  • [JS парсеры] При пустом body не передавался заголовок content-length при post запросе
  • [JS парсеры] Исправлена работа CloudFlare bypass
  • [JS парсеры] Исправлена работа с сессиями
  • [JS парсеры] Исправлена работа с overrides для this.parser.request
  • [JS парсеры] Исправлена ошибка определения кодировки в JS парсерах

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 22.06.2020, 15:05   #92
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Представляем 42-й сборник рецептов, в котором собраны парсеры для определения наличия на сайте битых ссылок, сбора данных об используемых сервисах статистики и определения коммерциализации ключевых слов.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Ahrefs Broken Link Checker - это сервис, позволяющий определить наличие битых ссылок на сайте, а также некоторую другую полезную информацию.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Этот парсер собирает данные об используемых на сайтах сервисах статистики с ресурса BuiltWith. С его помощью можно получить список id используемых сервисов статистики, а также список других сайтов, на которых используются эти же id.


[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
Способ определения степени коммерциализации ключевых слов, основанный на анализе поисковой выдачи Яндекса. Оценивается количество вхождений определенного списка слов в анкорах и сниппетах ТОП10 выдачи.

Кроме этого:Еще больше различных рецептов в нашем [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]!
Предлагайте ваши идеи для новых парсеров [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], лучшие будут реализованы и опубликованы.

Подписывайтесь на [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 06.07.2020, 18:35   #93
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

В этом видео рассмотрели где смотреть переменные, какие бывают скрытые переменные и какой результат они выводят на примерах.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Содержание видео:
00:20 - 1. Где смотреть какие у парсера есть переменные?
1:16 - 2. Какие бывают скрытые переменные ($query.*, $root и т.п.)?
1:22 - переменная root
2:08 - переменная root объект
3:14 - переменная query.orig
4:04 - переменная query.first
5:24 - переменная query.lvl
5:50 - переменная query.prev
6:20 - переменная query.num

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

Оставляйте комментарии и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием

Старый 16.07.2020, 18:48   #94
Посетитель
 
Аватар для A-Parser Sup


Обратиться по нику

Инфо
Регистрация: 16.06.2017
Сообщений: 94
Благодарностей: 0
По умолчанию

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]



Улучшения
  • Добавлен парсер [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
    Собираемые данные: вся информация, содержащаяся на странице.
  • Добавлены парсеры [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] и [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
    Для работы парсеров необходимо указать пресет [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
    • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
      В качестве запроса следует указывать ipv4 адрес.
      Собирает домены по IP и информацию о них.
    • [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
      В качестве запроса следует указывать домен, например a-parser.com.
      Собираемые данные:
      • Данные по DNS
      • Список технологий, используемых на сайте (движки и проч.)
      • Список открытых портов
      • Alexa rank
      • Страна
      • Хостер
      • Даты начала и окончания регистрации
      • Whois статус
      • Регистратор
      • Список исторических данных по DNS
      • Список субдоменов
  • Добавлена возможность отключать валидацию TLS сертификатов.
  • Добавлена поддержка доменных прокси.
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг новостей в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
  • Исправлен [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
  • Исправления в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]:
    • исправлен парсинг турбо ссылок;
    • исправлен парсинг новостных сниппетов.
  • Исправления в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
  • Исправления в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться] - ошибка в выборе стран, у которых одинаковый домен, восстановлен парсинг сниппетов.
Исправления
  • Исправлена ошибка в алгоритме автовыбора домена в [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
  • Исправлена работа [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться], [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
  • Исправлена ошибка, если файл config.txt был сохранен в кодировке utf-8 с BOM (парсер некорректно читал файл).
  • Решена проблема с переопределениями опций в парсере [Ссылки видны только зарегистрированным пользователям. Зарегистрироваться].
  • NodeJS: новые установленные модули теперь доступны до перезагрузки A-Parser'a.
  • Исправлено падение парсера при вызове метода getProxies.

[Ссылки видны только зарегистрированным пользователям. Зарегистрироваться]
  Ответить с цитированием
Ответ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 
Опции темы
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 16:23. Часовой пояс GMT +4.



Powered by vBulletin
Copyright © 2009-2016 UinSell.Net
Лицензия зарегистрирована на: UinSell

Перевод: zCarot