Web Scraper 6: yet another client

В общем, теперь есть ещё один клиент. Замечательно. Его оказалось даже легче интегрировать с основной системой, чем я думал с самого начала. Дольше собирался. 

Параметры запросов, что под целевой ресурс, что под его API оказались ожидаемо одинаковыми, поэтому одного простого датафикса и небольшой миграции оказалось достаточно для того, чтобы завести всю систему с нуля.

  • wreq
  • phantomjs
  • webdriver
  • servant-client

Нормально насобирал за всё это время. Прикрутить MAS, distributed computations к этому делу, и можно заниматься ботоводством в промышленных масштабах. 

Тем не менее, всё это временно. Как и планировалось, соберу все таргеты удаленно, запилю джобу, которая будет принимать техзадания по метаданным и данным, собирать текущие результаты по метаданным, сравнивать их с предыдущими, и делать опрос по данным в случае расхождения лишь меты, остальное — без изменений. Как только соберу урожай, отключаю интеграцию с целевым ресурсом, а в оффлайне просто переключаю протокол и клиента, оставляя опросник прежним.

Error

default userpic

Your IP address will be recorded 

When you submit the form an invisible reCAPTCHA check will be performed.
You must follow the Privacy Policy and Google Terms of use.