I just saw the part above about starting the engines manually - since you are starting 300 of them, I assume you are using some kind of script or batch system.  Can you post the actual code you use?<div><br></div><div>If it&#39;s a simple bash script, you could do something like this to spread out your engine starts over a particular window:</div>

<div><br></div><div>window=60 # seconds</div><div># sleep for a time up to 60 seconds, determined by the current PID. </div><div>sleep $(expr $$ % $window)</div><div>ipengine ...</div><div><br></div><div> You could also use `$RANDOM` instead of `$$`</div>

<div><br></div><div>-MinRK<br><br><div class="gmail_quote">On Thu, Sep 20, 2012 at 1:54 PM, MinRK <span dir="ltr">&lt;<a href="mailto:benjaminrk@gmail.com" target="_blank">benjaminrk@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

How are you starting the engines (ipcluster, launcher config, etc.)?  What is your system like (shared filesystem, ssh, nfs, etc.)?<br><br>It&#39;s possible there are issues with too many simultaneous connection attempts, which could be addressed by adding  a delay between each engine start (see various `delay` configurables in ipcluster_config.py, depending on how you are starting your cluster).<span class="HOEnZb"><font color="#888888"><br>


<br>-MinRK</font></span><div class="HOEnZb"><div class="h5"><br><br><div class="gmail_quote">On Thu, Sep 20, 2012 at 8:01 AM, M. Wimmer <span dir="ltr">&lt;<a href="mailto:wimmer.mike@gmail.com" target="_blank">wimmer.mike@gmail.com</a>&gt;</span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Just a little update: In fact the problem I described does not seem to have<br>
anything to do with the file descriptor limit. In /proc/pid/fd I can see that<br>
there are less than 1024 files open. Actually, when I try to start so many<br>
engines that the fd limit is reached, one of the ipcontroller processes dies<br>
(without leaving an error message in the log)<br>
<br>
I tried to increase the logging messages by adding logging statements myself in<br>
the code, but I&#39;m still far from making progress (it&#39;s actually quite hard to<br>
follow the ipython code logic, as there are many different levels of<br>
inheritation - this is not a criticism; I&#39;m just asking for help in this matter)<br>
<br>
All the best,<br>
<br>
Michael<br>
<div><div><br>
_______________________________________________<br>
IPython-User mailing list<br>
<a href="mailto:IPython-User@scipy.org" target="_blank">IPython-User@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-user" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>
</div></div></blockquote></div><br>
</div></div></blockquote></div><br></div>