Does anyone have experience running IPython on Amazon&#39;s EC2 service with hundreds of cores? I am seeing a problem that only occurs when I try to start a cluster with a large number of engines (over 500).<div><br></div>
<div>Using starcluster with the ipcluster plugin, and following the directions here &lt;<a href="http://star.mit.edu/cluster/docs/0.93.3/plugins/ipython.html">http://star.mit.edu/cluster/docs/0.93.3/plugins/ipython.html</a>&gt;, I am able to start a cluster with slightly over 300 engines. Everything works fine.</div>
<div><br></div><div>Specifically, suppose I request 10 of the cc2.8xlarge instance nodes. Then starcluster (with the ipcluster plugin) successfully starts a cluster with 323 engines. I can connect to them with the command</div>
<div><br></div><div>    rc = parallel.Client(packer=&#39;pickle&#39;)</div><div><br></div><div>However, if I try the same thing with 17 or so nodes, the cluster still starts fine, but the command</div><div><br></div><div>
    rc = parallel.Client(packer=&#39;pickle&#39;)</div><div><br></div><div>times out. I think the engine registration may be timing out. Has anyone seen a similar problem?</div><div><br></div><div>-Robert</div>