<br><br><div class="gmail_quote">On Tue, Dec 7, 2010 at 5:09 PM,  <span dir="ltr">&lt;<a href="mailto:josef.pktd@gmail.com">josef.pktd@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
On Tue, Dec 7, 2010 at 6:45 PM, Charles R Harris<br>
<div><div></div><div class="h5">&lt;<a href="mailto:charlesr.harris@gmail.com">charlesr.harris@gmail.com</a>&gt; wrote:<br>
&gt;<br>
&gt;<br>
&gt; On Tue, Dec 7, 2010 at 10:39 AM, Skipper Seabold &lt;<a href="mailto:jsseabold@gmail.com">jsseabold@gmail.com</a>&gt;<br>
&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; On Tue, Dec 7, 2010 at 12:17 PM, Charles R Harris<br>
&gt;&gt; &lt;<a href="mailto:charlesr.harris@gmail.com">charlesr.harris@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; On Tue, Dec 7, 2010 at 10:05 AM, &lt;<a href="mailto:josef.pktd@gmail.com">josef.pktd@gmail.com</a>&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; &lt;snip&gt;<br>
&gt;&gt;<br>
&gt;&gt; &gt;&gt; It&#39;s still a linear filter, non-linear optimization comes in because<br>
&gt;&gt; &gt;&gt; the exact loglikelihood function for ARMA is non-linear in the<br>
&gt;&gt; &gt;&gt; coefficients.<br>
&gt;&gt; &gt;&gt; (There might be a way to calculate the derivative in the same loop,<br>
&gt;&gt; &gt;&gt; but that&#39;s a different issue.)<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; The unscented Kalman filter is a better way to estimate the covariance<br>
&gt;&gt; &gt; of a<br>
&gt;&gt; &gt; non-linear process, think of it as a better integrator. If the<br>
&gt;&gt; &gt; propagation<br>
&gt;&gt; &gt; is easy to compute, which seems to be the case here, it will probably<br>
&gt;&gt; &gt; save<br>
&gt;&gt; &gt; you some time. You might even be able to use the basic idea and skip the<br>
&gt;&gt; &gt; Kalman part altogether.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; My general aim here is to optimize the algorithm first before getting<br>
&gt;&gt; &gt; caught<br>
&gt;&gt; &gt; up in the details of matrix multiplication in c. Premature optimization<br>
&gt;&gt; &gt; and<br>
&gt;&gt; &gt; all that.<br>
&gt;&gt; &gt;<br>
&gt;&gt;<br>
&gt;&gt; Hmm I haven&#39;t seen this mentioned much in what I&#39;ve been reading or<br>
&gt;&gt; the documentation on existing software for ARMA processes, so I never<br>
&gt;&gt; thought much about it.  I will have a closer look.  Well, google turns<br>
&gt;&gt; up this thread...<br>
&gt;&gt;<br>
&gt;<br>
&gt; I&#39;ve started reading up a bit on what you are doing and the application<br>
&gt; doesn&#39;t use extended Kalman filters, so the suggestion to use unscented<br>
&gt; Kalman filters is irrelevant. Sorry about that ;) I&#39;m still wading through<br>
&gt; the various statistical notation thickets to see if there might be a better<br>
&gt; form to use for the problem but I don&#39;t see one at the moment.<br>
<br>
</div></div>There are faster ways to get the likelihood for a simple ARMA process<br>
than using a Kalman Filter. I think the main advantage and reason for<br>
the popularity of Kalman Filter for this is that it is easier to<br>
extend. So using too many tricks that are specific to the simple ARMA<br>
might take away much of the advantage of getting a fast Kalman Filter.<br>
<br>
I didn&#39;t read much of the details for the Kalman Filter for this, but<br>
that was my conclusion from the non-Kalman Filter literature.<br>
<br></blockquote><div><br>Well, there are five forms of the standard Kalman filter that I am somewhat familiar with and some are better suited to some applications than others. But at this point I don&#39;t see that there is any reason not to use the common form for the ARMA case. It would be interesting to see some profiling since the matrix inversions are likely to dominate as the number of variables go up.<br>
<br>Chuck<br></div></div>