Автор Тема: Проблема с получением данных от Google  (Прочитано 5319 раз)

SDS

  • Любопытствующий
  • **
  • Сообщений: 2
  • Karma: 0
    • Просмотр профиля
Проблема с получением данных от Google
« : Января 15, 2016, 08:44:11 am »
Здравствуйте. Последние два дня наблюдаются проблемы с получением данных по Google. При сборе данных во вкладке "Внешние факторы" и "Видимость" по Яндексу и по Mail.ru все данные собираются нормально (по яндексу настроен доступ по ХМЛ), а вот Google постоянно требует ввод капчи. После ввода капчи задумывается на секунду и показывает новую капчу для ввода. И так бесконечно. Дальше проверка не проходит, либо бесконечно вводить капчи, либо жать отмену. При этом данные по гуглу не собираются совсем.

Что это может быть? Запускала сайт-аудитор с разных компьютеров, подключенных к разным интернет-провайдерам. ОС Windows10 и Windows7.
Версия сайт-аудитора 3.0.8

До 13/01/2015 все работало нормально, никаких изменений в настройках программы не делала.


cors

  • Местный
  • ***
  • Сообщений: 12
  • Karma: 0
    • Просмотр профиля
Re: Проблема с получением данных от Google
« Ответ #1 : Января 15, 2016, 12:32:38 pm »
такая же проблема, бывает зависает, бывает капча ему не та и постоянно выдает капчу /ввожу правильно/

stepan_sraka

  • Любопытствующий
  • **
  • Сообщений: 1
  • Karma: 0
    • Просмотр профиля
Re: Проблема с получением данных от Google
« Ответ #2 : Января 15, 2016, 11:34:41 pm »
тоже гугл капчу не пропускает, обычно на 20+ запросе
версия 3.0.8

Grabli

  • Местный
  • ***
  • Сообщений: 11
  • Karma: 0
    • Просмотр профиля
    • http://www.domastroim.su/
Re: Проблема с получением данных от Google
« Ответ #3 : Января 16, 2016, 11:45:06 am »
Та же самая проблема. Неделю назад снимал - все нормально было. Винда - 10.

VladimirTroyanenko

  • Демиург
  • Administrator
  • ***
  • Сообщений: 394
  • Karma: 888
    • Просмотр профиля
    • Site-Auditor
Re: Проблема с получением данных от Google
« Ответ #4 : Января 16, 2016, 11:51:01 am »
О проблеме известно. Работаю над ней.

Такое периодически случается и будет случаться. Парсинг поисковых систем задача не благодарная. Любое изменение формата или меры по защите от парсинга, которые предпринимают поисковики, буду ломать механизм сбора данных. После этого необходимо проанализировать что изменилось и как это решить. Сейчас именно такая ситуация. Надеюсь скоро выпущу обновление.
智 (Лишь та — ошибка, что не исправляется.) ओं मणिपद्मे हूं
~~
Прежде чем задать вопрос, пожалуйста, прочитайте эту тему
~~
При достижении вашей кармы отметки -5 вы будете заблокированы!
~~

cors

  • Местный
  • ***
  • Сообщений: 12
  • Karma: 0
    • Просмотр профиля
Re: Проблема с получением данных от Google
« Ответ #5 : Января 17, 2016, 04:24:12 pm »
может вернуть зазор в выборе времени /паузе/

VladimirTroyanenko

  • Демиург
  • Administrator
  • ***
  • Сообщений: 394
  • Karma: 888
    • Просмотр профиля
    • Site-Auditor
Re: Проблема с получением данных от Google
« Ответ #6 : Января 17, 2016, 05:00:16 pm »
Вернуть конечно можно, но реально это мало чему поможет. Сейчас в программе другой механизм сбора данных. А паузы по 30 секунд между каждым запросом смысла не имеют. Ибо это будет не сбора данных, а галиматья.
Кроме того, например в данном случае, Гугл просто взял и поменял скрип который обрабатывает ответ пользователя на каптчу. И такое может произойти в любой момент.  Как в этом случае может помочь пауза?
智 (Лишь та — ошибка, что не исправляется.) ओं मणिपद्मे हूं
~~
Прежде чем задать вопрос, пожалуйста, прочитайте эту тему
~~
При достижении вашей кармы отметки -5 вы будете заблокированы!
~~

krapics

  • Любопытствующий
  • **
  • Сообщений: 5
  • Karma: 1
    • Просмотр профиля
Re: Проблема с получением данных от Google
« Ответ #7 : Января 18, 2016, 08:27:57 am »
С Гуглом какие-то проблемы, позиции нормально не снимает. Где есть, где-то нет. А иногда просто залипает и все.

И еще. Раньше было удобнее, когда снимал построчно. А сейчас пока не закончит все, ничего не видно.

VladimirTroyanenko

  • Демиург
  • Administrator
  • ***
  • Сообщений: 394
  • Karma: 888
    • Просмотр профиля
    • Site-Auditor
Re: Проблема с получением данных от Google
« Ответ #8 : Января 18, 2016, 11:08:57 am »
Ну программа всегда снимала только все сразу. Просто в старой версии подсвечивалась строка запроса который обрабатывался в данный момент. Но в этой версии запросы для каждого поисковика обрабатываются независимо. А в некоторых случаях и несколько запросов одновременно. Поэтому тут такого нет. Но вообще думаю в этом направлении. Возможно будет отображаться лог, что бы было понятно что происходит в данный момент.
智 (Лишь та — ошибка, что не исправляется.) ओं मणिपद्मे हूं
~~
Прежде чем задать вопрос, пожалуйста, прочитайте эту тему
~~
При достижении вашей кармы отметки -5 вы будете заблокированы!
~~