<div dir="ltr"><div><div><div><div>The benchmark reads from a Nginx log file with the following log_format `$remote_addr $msec "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"` so you would actually need to configure input_test.cfg to control the filename (not single.cfg) but since you didn't get a file open error I am assuming that is what you meant.  If the file you provided is not in that format the parser will not find any records and you won't get any data.  Try this in your input file:<br><br>62.195.113.219 1391794828.893 "POST /v1/recovery_email/verify_code HTTP/1.1" 200 22 "<a href="https://accounts.dev.lcip.org/v1/verify_email?uid=9b6e44b8e67a4647bfe13595c06d2f9b&code=b4bf632f">https://accounts.dev.lcip.org/v1/verify_email?uid=9b6e44b8e67a4647bfe13595c06d2f9b&code=b4bf632f</a>" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:29.0) Gecko/20100101 Firefox/29.0" "-"<br>62.195.113.219 1391794828.893 "GET /v1/recovery_email/status HTTP/1.1" 200 82 "-" "Mozilla/5.0 (Mobile; rv:29.0) Gecko/29.0 Firefox/29.0" "-"<br>62.195.113.219 1391794828.893 "POST /v1/session/destroy HTTP/1.1" 200 37 "-" "Mozilla/5.0 (Mobile; rv:29.0) Gecko/29.0 Firefox/29.0" "-"<br>62.195.113.219 1391794828.893 "POST /v1/auth/start HTTP/1.1" 200 588 "-" "Mozilla/5.0 (Mobile; rv:29.0) Gecko/29.0 Firefox/29.0" "-"<br>54.224.179.251 1391794828.893 "POST /v1/auth/start HTTP/1.1" 200 932 "-" "-" "-"<br>54.224.179.251 1391794828.893 "POST /v1/auth/finish HTTP/1.1" 200 141 "-" "-" "-"<br>54.224.179.251 1391794828.893 "POST /v1/session/create HTTP/1.1" 200 274 "-" "-" "-"<br><br></div><div>1) stop hindsight (HS) if it is running<br></div><div>2) wipe the internal queue `rm -rf output`<br></div><div>3) restart HS with debug logging  'hindsight single.cfg 7'<br></div><div>4) you should see  '###  [info] input.input_test detaching received: 0 msg: 7' in the HS log<br></div><div>--- in a separate terminal window<br></div><div>5) take a look at the internal queues<br>    - output/input/0.log  # you can `lsb_heka_cat` that to see the contents (7 messages above)<br>    - output/analysis/0.log # you can `lsb_heka_cat -f` that and should see a new analysis counter message every 5 seconds; the payload in this case will max at 7<br></div><div>6) output/hindsight.tsv contains the statistics for the running plugins (updated every 6 seconds, the input will have already exited) <br></div><div>7) output/hindsight.cp contains the checkpoints for the input/output plugins and the analysis thread<br></div><div>-- end of second terminal window<br>8) since you are running with debug output you will see the print 
message from the output plugin (the count) every 60 seconds in the HS log</div><div>9) ctrl-c to shutdown HS<br></div><div><br></div><div>The toml file is there to run the equivalent Heka test; it is not needed by HS.<br></div><div><br></div><div>Trink<br></div></div></div></div><br></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Nov 15, 2016 at 12:31 AM, VINEET BERLIA <span dir="ltr"><<a href="mailto:shanky221341@gmail.com" target="_blank">shanky221341@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div><div><div><div><div><div><div><div><div><div><div>Hi,<br><br></div>I was trying to get around using hindsight replacing heka, for one of our clients. I have done the setup successfully.<br><br></div>I tried the examples in benchmark folder. But can't understand whats actually happening?:- for eg:-<br><br></div>With following setup in <br>.<br>├── run<br>│   ├── analysis<br>│   │   ├── counter.cfg<br>│   │   ├── counter.fcfg<br>│   │   └── counter.lua<br>│   ├── input<br>│   │   ├── input_test.cfg<br>│   │   └── input_test.lua<br>│   └── output<br>│       ├── counter.cfg<br>│       └── counter.lua<br>├── single.cfg<br>└── single.toml<br><br></div>I run:-  hindsight single.cfg <br><br></div>and get the following output:-<br><br>vineet@Vineet-ThinkPad-T420:~/<wbr>Desktop/heka_test$ hindsight single.cfg <br>1479198461994525451 [info] hindsight starting<br>1479198462004416356 [info] input.input_test starting<br>1479198462004946356 [info] input.input_test detaching received: 0 msg: 0<br>1479198462005641516 [info] analysis.counter adding to thread: 0<br>1479198462005738750 [info] analysis_plugins starting thread: 0<br>1479198462006463212 [info] output.counter starting<br><br><br></div>and then I have to exit hindsight.<br><br></div>Whats actually happening here? i have configured in single.cfg to read from a log file. but whats is the output I should get and where?<br><br></div>Can you pls explain the flow of execution from input to output?<br><br></div>For eg from nginnx log files to just console output?<br><br></div>And why do we need single.toml file here? that was in heka right?<br><br></div>Thanks<br></div>KR<span class="HOEnZb"><font color="#888888"><br></font></span></div><span class="HOEnZb"><font color="#888888">Vineet<br></font></span></div>
<br>______________________________<wbr>_________________<br>
Hindsight mailing list<br>
<a href="mailto:Hindsight@mozilla.org">Hindsight@mozilla.org</a><br>
<a href="https://mail.mozilla.org/listinfo/hindsight" rel="noreferrer" target="_blank">https://mail.mozilla.org/<wbr>listinfo/hindsight</a><br>
<br></blockquote></div><br></div>