if i&#39;m not mistake this is related to the furl files. if we can implement furl passing, we won&#39;t need the the engines to have the same $HOME as the controller. btw, since you have LSF, does it have the same options as SGE/Torque? Assuming you have the same home, can you run ipython on an lsf cluster.<br>
<br clear="all">cheers,<br><br>satra<br>
<br><br><div class="gmail_quote">On Sun, Jul 18, 2010 at 1:13 PM, Matthieu Brucher <span dir="ltr">&lt;<a href="mailto:matthieu.brucher@gmail.com">matthieu.brucher@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin: 0pt 0pt 0pt 0.8ex; border-left: 1px solid rgb(204, 204, 204); padding-left: 1ex;">
Hi,<br>
<br>
Does IPython support now sending engines to nodes that do not have the<br>
same $HOME as the main instance? This is what kept me from testing<br>
correctly IPython with LSF some months ago :|<br>
<br>
Matthieu<br>
<br>
2010/7/18 Justin Riley &lt;<a href="mailto:justin.t.riley@gmail.com">justin.t.riley@gmail.com</a>&gt;:<br>
<div><div></div><div class="h5">&gt; Hi Satra/Brian,<br>
&gt;<br>
&gt; I modified your code to use the job array feature of SGE. I&#39;ve also made<br>
&gt; it so that users don&#39;t need to specify --sge-script if they don&#39;t need a<br>
&gt; custom SGE launch script. My guess is that most users will choose not to<br>
&gt; specify --sge-script first and resort to using --sge-script when the<br>
&gt; generated launch script no longer meets their needs. More details in the<br>
&gt; git log here:<br>
&gt;<br>
&gt; <a href="http://github.com/jtriley/ipython/tree/0.10.1-sge" target="_blank">http://github.com/jtriley/ipython/tree/0.10.1-sge</a><br>
&gt;<br>
&gt; Also, I need to test this, but I believe this code will fail if the<br>
&gt; folder containing the furl file is not NFS-mounted on the SGE cluster.<br>
&gt; Another option besides requiring NFS is to scp the furl file to each<br>
&gt; host as is done in the ssh mode of ipcluster, however, this would<br>
&gt; require password-less ssh to be configured properly (maybe not so bad).<br>
&gt; Another option is to dump the generated furl file into the job script<br>
&gt; itself. This has the advantage of only needing SGE installed but<br>
&gt; certainly doesn&#39;t seem like the safest practice. Any thoughts on how to<br>
&gt; approach this?<br>
&gt;<br>
&gt; Let me know what you think.<br>
&gt;<br>
&gt; ~Justin<br>
&gt;<br>
&gt; On 07/18/2010 12:05 AM, Brian Granger wrote:<br>
&gt;&gt; Is the array jobs feature what you want?<br>
&gt;&gt;<br>
&gt;&gt; <a href="http://wikis.sun.com/display/gridengine62u6/Submitting+Jobs" target="_blank">http://wikis.sun.com/display/gridengine62u6/Submitting+Jobs</a><br>
&gt;&gt;<br>
&gt;&gt; Brian<br>
&gt;&gt;<br>
&gt;&gt; On Sat, Jul 17, 2010 at 9:00 PM, Brian Granger&lt;<a href="mailto:ellisonbg@gmail.com">ellisonbg@gmail.com</a>&gt;  wrote:<br>
&gt;&gt;&gt; On Sat, Jul 17, 2010 at 6:23 AM, Satrajit Ghosh&lt;<a href="mailto:satra@mit.edu">satra@mit.edu</a>&gt;  wrote:<br>
&gt;&gt;&gt;&gt; hi ,<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; i&#39;ve pushed my changes to:<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; <a href="http://github.com/satra/ipython/tree/0.10.1-sge" target="_blank">http://github.com/satra/ipython/tree/0.10.1-sge</a><br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; notes:<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; 1. it starts cleanly. i can connect and execute things. when i kill using<br>
&gt;&gt;&gt;&gt; ctrl-c, the messages appear to indicate that everything shut down well.<br>
&gt;&gt;&gt;&gt; however, the sge ipengine jobs are still running.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; What version of Python and Twisted are you running?<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; 2. the pbs option appears to require mpi to be present. i don&#39;t think one<br>
&gt;&gt;&gt;&gt; can launch multiple engines using pbs without mpi or without the workaround<br>
&gt;&gt;&gt;&gt; i&#39;ve applied to the sge engine. basically it submits an sge job for each<br>
&gt;&gt;&gt;&gt; engine that i want to run. i would love to know if a single job can launch<br>
&gt;&gt;&gt;&gt; multiple engines on a sge/pbs cluster without mpi.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; I think you are right that pbs needs to use mpirun/mpiexec to start<br>
&gt;&gt;&gt; multiple engines using a single PBS job.  I am not that familiar with<br>
&gt;&gt;&gt; SGE, can you start mulitple processes without mpi and with just a<br>
&gt;&gt;&gt; single SGE job?  If so, let&#39;s try to get that working.<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Cheers,<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; Brian<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; cheers,<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; satra<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; On Thu, Jul 15, 2010 at 8:55 PM, Satrajit Ghosh&lt;<a href="mailto:satra@mit.edu">satra@mit.edu</a>&gt;  wrote:<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; hi justin,<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; i hope to test it out tonight. from what fernando and i discussed, this<br>
&gt;&gt;&gt;&gt;&gt; should be relatively straightforward. once i&#39;m done i&#39;ll push it to my fork<br>
&gt;&gt;&gt;&gt;&gt; of ipython and announce it here for others to test.<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; cheers,<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; satra<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt; On Thu, Jul 15, 2010 at 4:33 PM, Justin Riley&lt;<a href="mailto:justin.t.riley@gmail.com">justin.t.riley@gmail.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; This is great news. Right now StarCluster just takes advantage of<br>
&gt;&gt;&gt;&gt;&gt;&gt; password-less ssh already being installed and runs:<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; $ ipcluster ssh --clusterfile /path/to/cluster_file.py<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; This works fine for now, however, having SGE support would allow<br>
&gt;&gt;&gt;&gt;&gt;&gt; ipcluster&#39;s load to be accounted for by the queue.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; Is Satra on the list? I have experience with SGE and could help with the<br>
&gt;&gt;&gt;&gt;&gt;&gt; code if needed. I can also help test this functionality.<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; ~Justin<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; On 07/15/2010 03:34 PM, Fernando Perez wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; On Thu, Jul 15, 2010 at 10:34 AM, Brian Granger&lt;<a href="mailto:ellisonbg@gmail.com">ellisonbg@gmail.com</a>&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; wrote:<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; Thanks for the post.  You should also know that it looks like someone<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;&gt; is going to add native SGE support to ipcluster for 0.10.1.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Yes, Satra and I went over this last night in detail (thanks to Brian<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; for the pointers), and he said he might actually already have some<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; code for it.  I suspect we&#39;ll get this in soon.<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; Cheers,<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt;&gt; f<br>
&gt;&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt;&gt;&gt;&gt; IPython-dev mailing list<br>
&gt;&gt;&gt;&gt;&gt;&gt; <a href="mailto:IPython-dev@scipy.org">IPython-dev@scipy.org</a><br>
&gt;&gt;&gt;&gt;&gt;&gt; <a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
&gt;&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt; _______________________________________________<br>
&gt;&gt;&gt;&gt; IPython-dev mailing list<br>
&gt;&gt;&gt;&gt; <a href="mailto:IPython-dev@scipy.org">IPython-dev@scipy.org</a><br>
&gt;&gt;&gt;&gt; <a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt;<br>
&gt;&gt;&gt; --<br>
&gt;&gt;&gt; Brian E. Granger, Ph.D.<br>
&gt;&gt;&gt; Assistant Professor of Physics<br>
&gt;&gt;&gt; Cal Poly State University, San Luis Obispo<br>
&gt;&gt;&gt; <a href="mailto:bgranger@calpoly.edu">bgranger@calpoly.edu</a><br>
&gt;&gt;&gt; <a href="mailto:ellisonbg@gmail.com">ellisonbg@gmail.com</a><br>
&gt;&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; IPython-dev mailing list<br>
&gt; <a href="mailto:IPython-dev@scipy.org">IPython-dev@scipy.org</a><br>
&gt; <a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
&gt;<br>
<br>
<br>
<br>
</div></div><font color="#888888">--<br>
Information System Engineer, Ph.D.<br>
Blog: <a href="http://matt.eifelle.com" target="_blank">http://matt.eifelle.com</a><br>
LinkedIn: <a href="http://www.linkedin.com/in/matthieubrucher" target="_blank">http://www.linkedin.com/in/matthieubrucher</a><br>
</font><div><div></div><div class="h5">_______________________________________________<br>
IPython-dev mailing list<br>
<a href="mailto:IPython-dev@scipy.org">IPython-dev@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
</div></div></blockquote></div><br>