Thanks to everybody<br>Eo<br><br><div class="gmail_quote">On Tue, Jun 22, 2010 at 10:14 AM,  <span dir="ltr">&lt;<a href="mailto:josef.pktd@gmail.com">josef.pktd@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
On Tue, Jun 22, 2010 at 3:46 AM, eneide.odissea<br>
<div class="im">&lt;<a href="mailto:eneide.odissea@gmail.com">eneide.odissea@gmail.com</a>&gt; wrote:<br>
&gt; Hi All<br>
</div><div class="im">&gt; I need to use max likelihood algorithm for fitting parameters for a<br>
&gt; GARCH(1,1) model.<br>
&gt; Is the Distribution to be assumed normal?<br>
<br>
</div>loglike_GARCH11  assuming normal distribution, and constant or removed mean<br>
<a href="http://bazaar.launchpad.net/%7Escipystats/statsmodels/trunk/annotate/head:/scikits/statsmodels/sandbox/regression/mle.py#L1002" target="_blank">http://bazaar.launchpad.net/~scipystats/statsmodels/trunk/annotate/head:/scikits/statsmodels/sandbox/regression/mle.py#L1002</a><br>

<br>
simple example for estimation with scipy.optimize.fmin:<br>
<a href="http://bazaar.launchpad.net/%7Escipystats/statsmodels/trunk/annotate/head:/scikits/statsmodels/sandbox/examples/example_garch.py#L46" target="_blank">http://bazaar.launchpad.net/~scipystats/statsmodels/trunk/annotate/head:/scikits/statsmodels/sandbox/examples/example_garch.py#L46</a><br>

<br>
normal distribution is the standard, but there are also several other<br>
distributions that are used for garch, e.g. t-distribution.<br>
<br>
garch11 looks ok in my tests, but overall the garch code is still a<br>
mess, and it was written before the recent improvement to mle in<br>
statsmodels.<br>
<br>
If never seen any other GARCH code in python.<br>
<br>
Josef<br>
<div><div></div><div class="h5"><br>
&gt;<br>
&gt; On Tue, Jun 22, 2010 at 3:43 AM, Skipper Seabold &lt;<a href="mailto:jsseabold@gmail.com">jsseabold@gmail.com</a>&gt;<br>
&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; On Mon, Jun 21, 2010 at 8:41 PM, David Goldsmith<br>
&gt;&gt; &lt;<a href="mailto:d.l.goldsmith@gmail.com">d.l.goldsmith@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt; On Mon, Jun 21, 2010 at 5:19 PM, &lt;<a href="mailto:josef.pktd@gmail.com">josef.pktd@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; On Mon, Jun 21, 2010 at 8:03 PM, David Goldsmith<br>
&gt;&gt; &gt;&gt; &lt;<a href="mailto:d.l.goldsmith@gmail.com">d.l.goldsmith@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt; &gt; On Mon, Jun 21, 2010 at 4:10 PM, &lt;<a href="mailto:josef.pktd@gmail.com">josef.pktd@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; On Mon, Jun 21, 2010 at 7:03 PM, David Goldsmith<br>
&gt;&gt; &gt;&gt; &gt;&gt; &lt;<a href="mailto:d.l.goldsmith@gmail.com">d.l.goldsmith@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt; On Mon, Jun 21, 2010 at 3:17 PM, Skipper Seabold<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt; &lt;<a href="mailto:jsseabold@gmail.com">jsseabold@gmail.com</a>&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt; wrote:<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; On Mon, Jun 21, 2010 at 5:55 PM, David Goldsmith<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &lt;<a href="mailto:d.l.goldsmith@gmail.com">d.l.goldsmith@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; On Mon, Jun 21, 2010 at 2:43 PM, Skipper Seabold<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; &lt;<a href="mailto:jsseabold@gmail.com">jsseabold@gmail.com</a>&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; wrote:<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; On Mon, Jun 21, 2010 at 5:34 PM, David Goldsmith<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &lt;<a href="mailto:d.l.goldsmith@gmail.com">d.l.goldsmith@gmail.com</a>&gt; wrote:<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; On Mon, Jun 21, 2010 at 2:17 PM, eneide.odissea<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; &lt;<a href="mailto:eneide.odissea@gmail.com">eneide.odissea@gmail.com</a>&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; wrote:<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; Hi All<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; I had a look at the scipy.stats documentation and I was not<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; able<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; to<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; find a<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; function for<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; maximum likelihood parameter estimation.<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; Do you know whether is available in some other<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; namespace/library<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; of<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; scipy?<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; I found on the web few libraries ( this one is an<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; example <a href="http://bmnh.org/%7Epf/p4.html" target="_blank">http://bmnh.org/~pf/p4.html</a> ) having it,<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; but I would prefer to start playing with what scipy already<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; offers<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; by<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; default ( if any ).<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; Kind Regards<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; eo<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; scipy.stats.distributions.rv_continuous.fit (I was just<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; working<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; on<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; the<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; docstring for that; I don&#39;t believe my changes have been<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; merged; I<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; believe<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; Travis recently updated its code...)<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; This is for fitting the parameters of a distribution via<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; maximum<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; likelihood given that the DGP is the underlying distribution.<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;  I<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; don&#39;t<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; think it is intended for more complicated likelihood functions<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; (where<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; Nelder-Mead might fail).  And in any event it will only find<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; the<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; parameters of the distribution rather than the parameters of<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; some<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; underlying model, if this is what you&#39;re after.<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; Skipper<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; OK, but just for clarity in my own mind: are you saying that<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; rv_continuous.fit is _definitely_ inappropriate/inadequate for<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; OP&#39;s<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; needs<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; (i.e., am I _completely_ misunderstanding the relationship<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; between<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; the<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; function and OP&#39;s stated needs), or are you saying that the<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; function<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; _may_<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; &gt; not be general/robust enough for OP&#39;s stated needs?<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; Well, I guess it depends on exactly what kind of likelihood<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; function<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; is being optimized.  That&#39;s why I asked.<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; My experience with stats.distributions is all of about a week, so<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; I<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; could be wrong. But here it goes... rv_continuous is not intended<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; to<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; be used on its own but rather as the base class for any<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; distribution.<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; So if you believe that your data came from say an Gaussian<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; distribution, then you could use norm.fit(data) (with other<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; options<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; as<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; needed) to get back estimates of scale and location.  So<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; In [31]: from scipy.stats import norm<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; In [32]: import numpy as np<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; In [33]: x = np.random.normal(loc=0,scale=1,size=1000)<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; In [34]: norm.fit(x)<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; Out[34]: (-0.043364692830314848, 1.0205901804210851)<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; Which is close to our given location and scale.<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; But if you had in mind some kind of data generating process for<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; your<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; model based on some other observed data and you were interested<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; in<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; the<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; marginal effects of changes in the observed data on the outcome,<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; then<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; it would be cumbersome I think to use the fit in distributions.<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; It<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; may<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; not be possible.   Also, as mentioned, fit only uses Nelder-Mead<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; (optimize.fmin with the default parameters, which I&#39;ve found to<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; be<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; inadequate for even fairly basic likelihood based models), so it<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; may<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; not be robust enough.  At the moment, I can&#39;t think of a way to<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; fit<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; a<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; parameterized model as fit is written now.  Come to think of it<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; though<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; I don&#39;t think it would be much work to extend the fit method to<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; work<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; for something like a linear regression model.<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;&gt; Skipper<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt; OK, this is all as I thought (e.g., fit only &quot;works&quot; to get the<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt; MLE&#39;s<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt; from<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt; data for a *presumed* distribution, but it is all-but-useless if<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt; the<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt; distribution isn&#39;t (believed to be) &quot;known&quot; a priori); just wanted<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt; to<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt; be<br>
&gt;&gt; &gt;&gt; &gt;&gt; &gt; sure I was reading you correctly. :-)  Thanks!<br>
&gt;&gt; &gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; &gt;&gt; MLE always assumes that the distribution is known, since you need<br>
&gt;&gt; &gt;&gt; &gt;&gt; the<br>
&gt;&gt; &gt;&gt; &gt;&gt; likelihood function.<br>
&gt;&gt; &gt;&gt; &gt;<br>
&gt;&gt; &gt;&gt; &gt; I&#39;m not sure what I&#39;m missing here (is it the definition of DGP? the<br>
&gt;&gt; &gt;&gt; &gt; meaning<br>
&gt;&gt; &gt;&gt; &gt; of Nelder-Mead? I want to learn, off-list if this is considered<br>
&gt;&gt; &gt;&gt; &gt; &quot;noise&quot;):<br>
&gt;&gt; &gt;&gt; &gt; according to my reference - Bain &amp; Englehardt, Intro. to Prob. and<br>
&gt;&gt; &gt;&gt; &gt; Math.<br>
&gt;&gt; &gt;&gt; &gt; Stat., 2nd Ed., Duxbury, 1992 - if the underlying population<br>
&gt;&gt; &gt;&gt; &gt; distribution is<br>
&gt;&gt; &gt;&gt; &gt; known, then the likelihood function is well-determined (although the<br>
&gt;&gt; &gt;&gt; &gt; likelihood equation(s) it gives rise to may not be soluble<br>
&gt;&gt; &gt;&gt; &gt; analytically,<br>
&gt;&gt; &gt;&gt; &gt; of<br>
&gt;&gt; &gt;&gt; &gt; course).  So why doesn&#39;t the OP knowing the underlying distribution<br>
&gt;&gt; &gt;&gt; &gt; (as<br>
&gt;&gt; &gt;&gt; &gt; your<br>
&gt;&gt; &gt;&gt; &gt; comment above implies they should if they seek MLEs) imply that s/he<br>
&gt;&gt; &gt;&gt; &gt; would<br>
&gt;&gt; &gt;&gt; &gt; also &quot;know&quot; what the likelihood function &quot;looks like,&quot; (and thus the<br>
&gt;&gt; &gt;&gt; &gt; question isn&#39;t so much what the likelihood function &quot;looks like,&quot; but<br>
&gt;&gt; &gt;&gt; &gt; what<br>
&gt;&gt; &gt;&gt; &gt; the underlying distribution is, and thence, do we have that<br>
&gt;&gt; &gt;&gt; &gt; distribution<br>
&gt;&gt; &gt;&gt; &gt; implemented yet in scipy.stats)?<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; DGP: data generating process<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; In many cases the assumed distribution of the error or noise variable<br>
&gt;&gt; &gt;&gt; is just the normal distribution. But what&#39;s the overall model that<br>
&gt;&gt; &gt;&gt; explains the endogenous variable.<br>
&gt;&gt; &gt;&gt; distribution.fit would just assume that each observations is a random<br>
&gt;&gt; &gt;&gt; draw from the same population distribution.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; But you can do MLE on standard linear regression, system of equations,<br>
&gt;&gt; &gt;&gt; ARIMA or GARCH in time series analysis. For any of this we need to<br>
&gt;&gt; &gt;&gt; specify what the relationship between the endogenous variable and it&#39;s<br>
&gt;&gt; &gt;&gt; own past and other explanatory variables is.<br>
&gt;&gt; &gt;&gt; e.g. simplest ARMA<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; A(L) y_t = B(L) e_t<br>
&gt;&gt; &gt;&gt; with e_t independently and identically distributed (iid.) normal<br>
&gt;&gt; &gt;&gt; random variable<br>
&gt;&gt; &gt;&gt; A(L), B(L) lag-polynomials<br>
&gt;&gt; &gt;&gt; and for the full MLE we would also need to specify initial conditions.<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; simple linear regression with non iid errors<br>
&gt;&gt; &gt;&gt; y_t = x_t * beta + e_t      e = {e_t}_{for all t} distributed N(0,<br>
&gt;&gt; &gt;&gt; Sigma)   plus assumptions on the structure of Sigma<br>
&gt;&gt; &gt;&gt;<br>
&gt;&gt; &gt;&gt; in these cases the likelihood function defines a lot more than just<br>
&gt;&gt; &gt;&gt; the distribution of the error term.<br>
&gt;&gt; &gt;<br>
&gt;&gt; &gt; Ah, jetzt ich verstehe (ich denke).  So in the general case, the<br>
&gt;&gt; &gt; procedure<br>
&gt;&gt; &gt; needs to &quot;apportion&quot; the information in the data among the parameters of<br>
&gt;&gt; &gt; the<br>
&gt;&gt; &gt; &quot;mechanistic&quot; part of the model and the parameters of the &quot;random noise&quot;<br>
&gt;&gt; &gt; part of the model, and the Maximum Likelihood Equations give you the<br>
&gt;&gt; &gt; values<br>
&gt;&gt; &gt; of all these parameters (the mechanistic ones and noise ones) that<br>
&gt;&gt; &gt; maximize<br>
&gt;&gt; &gt; the likelihood of observing the data one observed, correct?<br>
&gt;&gt; &gt;<br>
&gt;&gt;<br>
&gt;&gt; Yes, I think you&#39;ve got for the more general case that Josef describes.<br>
&gt;&gt;<br>
&gt;&gt; Skipper<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; SciPy-User mailing list<br>
&gt;&gt; <a href="mailto:SciPy-User@scipy.org">SciPy-User@scipy.org</a><br>
&gt;&gt; <a href="http://mail.scipy.org/mailman/listinfo/scipy-user" target="_blank">http://mail.scipy.org/mailman/listinfo/scipy-user</a><br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; SciPy-User mailing list<br>
&gt; <a href="mailto:SciPy-User@scipy.org">SciPy-User@scipy.org</a><br>
&gt; <a href="http://mail.scipy.org/mailman/listinfo/scipy-user" target="_blank">http://mail.scipy.org/mailman/listinfo/scipy-user</a><br>
&gt;<br>
&gt;<br>
_______________________________________________<br>
SciPy-User mailing list<br>
<a href="mailto:SciPy-User@scipy.org">SciPy-User@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/scipy-user" target="_blank">http://mail.scipy.org/mailman/listinfo/scipy-user</a><br>
</div></div></blockquote></div><br>