<div dir="ltr"><div class="gmail_default" style="font-family:monospace,monospace">
<pre>Here is an example of how we write a Heka message to parquet. fyi: This writes to a local disk queue, we have a separate process that performs the actually s3 upload.<br><br>-- -*- lua -*-
filename        = "s3_parquet.lua"
message_matcher = "Type == 'telemetry' && Logger == 'telemetry'"
preserve_data   = false
ticker_interval = 60

parquet_schema_file = "<%= @heka_schema_path %>/telemetry/telemetry_payload_size.1.parquetmr.txt"

metadata_group = nil
json_objects = nil
s3_path_dimensions  = {
    {name = "submission_date_s3", source = "Timestamp", dateformat = "%Y%m%d"},
}

batch_dir           = "<%= @s3_buffer_dir_disk %>/telemetry-payload-size-parquet/v1"
max_writers         = 5
max_rowgroup_size   = 10000
max_file_size       = 1024 * 1024 * 300
max_file_age        = <%= @max_file_age %>
hive_compatible     = true
</pre>

<br></div><div class="gmail_default" style="font-family:monospace,monospace">-- parquet schema<br>
<table class="gmail-highlight gmail-tab-size gmail-js-file-line-container"><tbody><tr><td id="gmail-LC1" class="gmail-blob-code gmail-blob-code-inner gmail-js-file-line">message telemetry_payload_size {</td>
      </tr>
      <tr>
        </tr></tbody></table><table class="gmail-highlight gmail-tab-size gmail-js-file-line-container"><tbody><tr><td id="gmail-LC2" class="gmail-blob-code gmail-blob-code-inner gmail-js-file-line">  required int64 Timestamp;</td>
      </tr>
      <tr>
        </tr></tbody></table><table class="gmail-highlight gmail-tab-size gmail-js-file-line-container"><tbody><tr><td id="gmail-LC3" class="gmail-blob-code gmail-blob-code-inner gmail-js-file-line">  required int64 size;</td>
      </tr>
      <tr>
        </tr></tbody></table><table class="gmail-highlight gmail-tab-size gmail-js-file-line-container"><tbody><tr><td id="gmail-LC4" class="gmail-blob-code gmail-blob-code-inner gmail-js-file-line">  required group Fields {</td>
      </tr>
      <tr>
        </tr></tbody></table><table class="gmail-highlight gmail-tab-size gmail-js-file-line-container"><tbody><tr><td id="gmail-LC5" class="gmail-blob-code gmail-blob-code-inner gmail-js-file-line">    required binary appBuildId (UTF8);</td>
      </tr>
      <tr>
        </tr></tbody></table><table class="gmail-highlight gmail-tab-size gmail-js-file-line-container"><tbody><tr><td id="gmail-LC6" class="gmail-blob-code gmail-blob-code-inner gmail-js-file-line">    required binary appUpdateChannel (UTF8);</td>
      </tr>
      <tr>
        </tr></tbody></table><table class="gmail-highlight gmail-tab-size gmail-js-file-line-container"><tbody><tr><td id="gmail-LC7" class="gmail-blob-code gmail-blob-code-inner gmail-js-file-line">    required binary docType (UTF8);</td>
      </tr>
      <tr>
        </tr></tbody></table><table class="gmail-highlight gmail-tab-size gmail-js-file-line-container"><tbody><tr><td id="gmail-LC8" class="gmail-blob-code gmail-blob-code-inner gmail-js-file-line">  }</td>
      </tr>
      <tr>
        </tr></tbody></table>}

<br><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Feb 15, 2018 at 4:46 PM, Madhukar Thota <span dir="ltr"><<a href="mailto:madhukar.thota@gmail.com" target="_blank">madhukar.thota@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi<div><br></div><div>Is there any example to send data syslog data from Kafka to s3 with parquet format using hindsight.</div><div><br></div><div>This is what i am trying to achieve.</div><div><br></div><div>syslog --> hindsight --> Kafka --> hindsight --> s3 (parquet format).</div><div><br></div><div>Thanks,</div><div>Madhu</div></div>
<br>______________________________<wbr>_________________<br>
Hindsight mailing list<br>
<a href="mailto:Hindsight@mozilla.org">Hindsight@mozilla.org</a><br>
<a href="https://mail.mozilla.org/listinfo/hindsight" rel="noreferrer" target="_blank">https://mail.mozilla.org/<wbr>listinfo/hindsight</a><br>
<br></blockquote></div><br></div></div>