There are a couple of things to consider with our current design:<div><br></div><div>1.  Eventually you will hit a file descriptor limit per process.  You can usually change this by messing with the ulimits.</div><div>2 . The performance.  The current twisted based design doesn&#39;t scale very well, but the basic idea is that the more engines you connect, the more memory the controller will consume and the more latency you will see.  Once the lantecies get to be as long as the tasks the engines are performing, you will stop observing speedups.<br>
<br></div><div>We are currently working on a new zeromq based architecture that will dramatically improve the scalability of the parallel stuff.  We are not sure how far it will go, but i am hopeful that the new stuff will get us up to 500-1000 engines.</div>
<div><br><div class="gmail_quote">On Fri, Aug 6, 2010 at 2:52 PM, Darren Govoni <span dir="ltr">&lt;<a href="mailto:darren@ontrenet.com">darren@ontrenet.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
Hi,<br>
  What&#39;s the practical maximum number of engines a controller can<br>
support? 10? 50? 100?<br>
<br></blockquote><div><br></div><div>As long as you are not sending lots of data between the engines and client, I think 64-128 is doable with the current design.  Best to just give it a shot though...<br><br></div><div>
Cheers,</div><div><br></div><div>Brian</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
thanks<br>
Darren<br>
<br>
_______________________________________________<br>
IPython-User mailing list<br>
<a href="mailto:IPython-User@scipy.org">IPython-User@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-user" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>
</blockquote></div><br><br clear="all"><br>-- <br>Brian E. Granger, Ph.D.<br>Assistant Professor of Physics<br>Cal Poly State University, San Luis Obispo<br><a href="mailto:bgranger@calpoly.edu">bgranger@calpoly.edu</a><br>
<a href="mailto:ellisonbg@gmail.com">ellisonbg@gmail.com</a><br>
</div>