August 9th, 2018

Web Scraper 6: yet another client

В общем, теперь есть ещё один клиент. Замечательно. Его оказалось даже легче интегрировать с основной системой, чем я думал с самого начала. Дольше собирался. 

Параметры запросов, что под целевой ресурс, что под его API оказались ожидаемо одинаковыми, поэтому одного простого датафикса и небольшой миграции оказалось достаточно для того, чтобы завести всю систему с нуля.

  • wreq
  • phantomjs
  • webdriver
  • servant-client

Нормально насобирал за всё это время. Прикрутить MAS, distributed computations к этому делу, и можно заниматься ботоводством в промышленных масштабах. 

Тем не менее, всё это временно. Как и планировалось, соберу все таргеты удаленно, запилю джобу, которая будет принимать техзадания по метаданным и данным, собирать текущие результаты по метаданным, сравнивать их с предыдущими, и делать опрос по данным в случае расхождения лишь меты, остальное — без изменений. Как только соберу урожай, отключаю интеграцию с целевым ресурсом, а в оффлайне просто переключаю протокол и клиента, оставляя опросник прежним.