<p>Thanks for your reply. It seems that interactive use is your main goal. However, wouldn&#39;t out be better to submit every task separately using qsub (instead of submitting ipengines)?</p>
<p>Thanks,<br>
Chris<br>
</p>
<div class="gmail_quote">On Jan 17, 2011 2:59 AM, &quot;Brian Granger&quot; &lt;<a href="mailto:ellisonbg@gmail.com">ellisonbg@gmail.com</a>&gt; wrote:<br type="attribution">&gt; Hi,<br>&gt; <br>&gt; On Thu, Jan 13, 2011 at 7:41 AM, Chris Filo Gorgolewski<br>
&gt; &lt;<a href="mailto:chris.gorgolewski@gmail.com">chris.gorgolewski@gmail.com</a>&gt; wrote:<br>&gt;&gt; Hi,<br>&gt;&gt; I have recently played with ipython on our SGE cluster. I was<br>&gt;&gt; surprised to discover that ipython does not use qsub to submit every<br>
&gt;&gt; job, but submits prespecified number of ipengines as jobs. Those I<br>&gt;&gt; presume run indefinitely and accept ipython tasks. This setup seem to<br>&gt;&gt; have two major drawbacks:<br>&gt; <br>&gt; Yes, this is a correct description of what happens.<br>
&gt; <br>&gt;&gt; 1) my cluster have nodes with different max job time. Depending what<br>&gt;&gt; you specify in the qsub option the job gets send to different node.<br>&gt;&gt; The limit is 48h. This means that after 48h (assuming that I use a<br>
&gt;&gt; custom submit script with this option) all of my engines will be<br>&gt;&gt; killed and ipython will stop receiving jobs?<br>&gt; <br>&gt; Yes, that is right.<br>&gt; <br>&gt;&gt; In other words I cannot<br>&gt;&gt; run a set of jobs that would run longer than two days using ipython?<br>
&gt; <br>&gt; Yep, there is no way of getting around the limitations/constraints of<br>&gt; the queues.<br>&gt; <br>&gt;&gt; Additionally if I decide to specify max job time 48h I will most<br>&gt;&gt; likely wait longer for the appropriate nodes to become free which is<br>
&gt;&gt; not really necessary when my atomic jobs run much faster.<br>&gt; <br>&gt; Yep, such is life on shared clusters with batch system :(<br>&gt; <br>&gt; What about just firing up an EC2 cluster using startcluster?<br>
&gt; <br>&gt;&gt; 2) I need to specify how many engines I want to use. Assuming i want<br>&gt;&gt; my set of jobs to be done as quickly as possible I should specify a<br>&gt;&gt; number that would be bigger than the number of available nodes. This<br>
&gt;&gt; means that in many situations I will spawn way too many ipengines that<br>&gt;&gt; will just sit there doing nothing. This solution seems to lack<br>&gt;&gt; scalability.<br>&gt;&gt;<br>&gt;&gt; Or maybe I am using ipython/SGE in a wrong way?<br>
&gt; <br>&gt; From what we have said, I think you are using ipython/sge in the right<br>&gt; manner, you are just running into the fact that batch systems are not<br>&gt; setup for truly interactive usage.<br>&gt; <br>&gt; Cheers,<br>
&gt; <br>&gt; Brian<br>&gt; <br>&gt;&gt; Best regards,<br>&gt;&gt; Chris<br>&gt;&gt; _______________________________________________<br>&gt;&gt; IPython-User mailing list<br>&gt;&gt; <a href="mailto:IPython-User@scipy.org">IPython-User@scipy.org</a><br>
&gt;&gt; <a href="http://mail.scipy.org/mailman/listinfo/ipython-user">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>&gt;&gt;<br>&gt; <br>&gt; <br>&gt; <br>&gt; -- <br>&gt; Brian E. Granger, Ph.D.<br>&gt; Assistant Professor of Physics<br>
&gt; Cal Poly State University, San Luis Obispo<br>&gt; <a href="mailto:bgranger@calpoly.edu">bgranger@calpoly.edu</a><br>&gt; <a href="mailto:ellisonbg@gmail.com">ellisonbg@gmail.com</a><br></div>