Репортинг / update: сохраняем данные из Яндекс Директа в ClickHouse

Пересмотрел подход в работе с данными.

Сейчас работаю над такой схемой:

  1. R-скрипт выгружает статистику из рекламных аккаунтов 1 раз в день,
  2. данные отправляются в ClickHouse,
  3. скриптами вытаскиваю их из ClickHouse и выгружаю в Google Sheets, Excel или с помощью R Markdown делаю отчеты в html-файлах, которые потом удобно пересылать.

Зачем ClickHouse?

До этого я выгружал статистику по дням с и сохранял с помощью qs (https://cran.r-project.org/web/packages/qs/index.html) или fst (https://cloud.r-project.org/web/packages/fst/index.html). Рабочая схема, но сбор отчетов очень неторопливый. Это мягко говоря. В ClickHouse все грузится молниеносно.

Как и прежде, все работает локально на моем компьютере. Ни на какие сервера данные не загружаю, никому за импорт и аренду сервера не плачу.

Новая схема еще не отработана, поэтому примера скрипта пока не будет.

 7   1 мес   clickhouse