<br><br><div class="gmail_quote">On Thu, Oct 28, 2010 at 12:34, Brian Granger <span dir="ltr">&lt;<a href="mailto:ellisonbg@gmail.com" target="_blank">ellisonbg@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


<div>On Thu, Oct 28, 2010 at 12:00 PM, Fernando Perez &lt;<a href="http://fperez.net" target="_blank">fperez.net</a>@<a href="http://gmail.com" target="_blank">gmail.com</a>&gt; wrote:<br>
&gt; On Thu, Oct 28, 2010 at 11:55 AM, MinRK &lt;<a href="mailto:benjaminrk@gmail.com" target="_blank">benjaminrk@gmail.com</a>&gt; wrote:<br>
&gt;&gt; My interactive session starts running into memory issues with 100M ids, so<br>
&gt;&gt; that&#39;s something to consider.<br>
&gt;<br>
&gt; Well, let&#39;s just hope that anyone with 100M ids in real life (not a<br>
&gt; synthetic benchmark) has the common sense of working on something with<br>
&gt; 100G of RAM or so :)<br>
<br>
</div>But, with the performance we are getting, some people might want to<br>
simply run this 24/7 (instead of using a batch system).  Then, over a<br>
long period of time, having that many tasks is not too crazy.  We<br>
definitely need to think about this aspect of things.<br></blockquote><div><br></div><div>Until I put in the DB backend, the memory footprint of the Controller after 100M tasks is going to be huge, so we can worry about that a little later.  Possibly add a sense of msg_ids going stale?  Only keep the most recent 10M for checking?</div>

<div><br></div><div>-MinRK</div>
<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div><br>
&gt; Thanks a lot for looking into this, Min.  Fantastic example to have,<br>
&gt; and one that is very relevant to many use cases.<br>
<br>
</div>Definitely,<br>
<br>
Cheers,<br>
<br>
Brian<br>
<br>
&gt; Cheers,<br>
&gt;<br>
&gt; f<br>
&gt;<br>
<font color="#888888"><br>
<br>
<br>
--<br>
</font><div><div></div><div>Brian E. Granger, Ph.D.<br>
Assistant Professor of Physics<br>
Cal Poly State University, San Luis Obispo<br>
<a href="mailto:bgranger@calpoly.edu" target="_blank">bgranger@calpoly.edu</a><br>
<a href="mailto:ellisonbg@gmail.com" target="_blank">ellisonbg@gmail.com</a><br>
</div></div></blockquote></div><br>