<br>
<div class="gmail_quote"><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">I ran into another issue: on a cluster, the home folder may be<br>

different than on the access box. In that case, the .ipython/security<br>
does not exist and the engine will not start (I&#39;ve just tested this).<br>
<div class="im"></div></blockquote><div><br>Currently our model for ipcluster is that:<br><br>.ipython/security is shared by all hosts and in the same location.  If you don&#39;t have this situation, you will have to manually move the .furl files around and tell ipengine where the .furl files are located.  You will also need to use persistent furl files.  Docs on all this are here:<br>
<br><a href="http://ipython.scipy.org/doc/stable/html/parallel/parallel_process.html">http://ipython.scipy.org/doc/stable/html/parallel/parallel_process.html</a><br><br>Let us know if you have other questions - this side of things can be very subtle.  Another thing to watch out for.  Some batch systems *require* the processes on compute nodes to call MPI_Init upon starting.  This can be accomplished by using mpi4py.  See how we do this in the mpiexec/mpirun versions of ipcluster.  But on some system (depends on which MPI) that is not enough.  Some systems require that the *VERY FIRST* things a process does is call MPI_Init.  On these systems you will need to build a custom version of the python binary that handles this correctly.  Again, mpi4py provides such a binary.  Hopefully you won&#39;t have to deal with these things!<br>
<br>Cheers,<br><br>Brian<br> </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"><div class="im"><br>
&gt;&gt; I will try to setup the cluster stuff now.<br>
&gt;<br>
&gt; Great, looking forward to the patch!<br>
<br>
</div>Well, first I have to try to understand what is going on, as I don&#39;t<br>
even get the log files after the engine submission !<br>
<br>
Also, I&#39;ve tried to extract the job id (it seems it is needed), but<br>
the BatchEngineSet.parse_job_id extracts everything that is matched by<br>
the regexp describing a job (it uses group()). I had to put &quot;Job<br>
&lt;(\d+)&gt;&quot; as a regexp, so group() returns, for instance, &quot;Job &lt;1234&gt;&quot;<br>
instead of &quot;1234&quot;. I may submit a patch to get group(1) and modify the<br>
PBS regexp accordingly.<br>
<div class="im"></div></blockquote><div><br>Yes, you will *very* likely have to modify the various regexps.<br><br> </div><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div class="im"><br>
Matthieu<br>
--<br>
Information System Engineer, Ph.D.<br>
Website: <a href="http://matthieu-brucher.developpez.com/" target="_blank">http://matthieu-brucher.developpez.com/</a><br>
Blogs: <a href="http://matt.eifelle.com" target="_blank">http://matt.eifelle.com</a> and <a href="http://blog.developpez.com/?blog=92" target="_blank">http://blog.developpez.com/?blog=92</a><br>
LinkedIn: <a href="http://www.linkedin.com/in/matthieubrucher" target="_blank">http://www.linkedin.com/in/matthieubrucher</a><br>
</div><div><div></div><div class="h5">_______________________________________________<br>
IPython-dev mailing list<br>
<a href="mailto:IPython-dev@scipy.org">IPython-dev@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
</div></div></blockquote></div><br>