Репортинг / update: сохраняем данные из Яндекс Директа в ClickHouse
Пересмотрел подход в работе с данными.
Сейчас работаю над такой схемой:
- R-скрипт выгружает статистику из рекламных аккаунтов 1 раз в день,
- данные отправляются в ClickHouse,
- скриптами вытаскиваю их из ClickHouse и выгружаю в Google Sheets, Excel или с помощью R Markdown делаю отчеты в html-файлах, которые потом удобно пересылать.
Зачем ClickHouse?
До этого я выгружал статистику по дням с и сохранял с помощью qs (https://cran.r-project.org/web/packages/qs/index.html) или fst (https://cloud.r-project.org/web/packages/fst/index.html). Рабочая схема, но сбор отчетов очень неторопливый. Это мягко говоря. В ClickHouse все грузится молниеносно.
Как и прежде, все работает локально на моем компьютере. Ни на какие сервера данные не загружаю, никому за импорт и аренду сервера не плачу.
Новая схема еще не отработана, поэтому примера скрипта пока не будет.