<br><br><div class="gmail_quote">On Tue, Mar 19, 2013 at 2:53 PM, Skipper Seabold <span dir="ltr">&lt;<a href="mailto:jsseabold@gmail.com" target="_blank">jsseabold@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

Hi,<div><br></div><div>I&#39;m trying to convince our HPC admin to install IPython.parallel, and I&#39;m not at all confident that I&#39;ve grasped all the details. I&#39;m hoping someone might be able to help me out here and either correct me or fill in as needed.</div>




<div><br></div><div>My understanding is that we need to have IPython installed on the log-in node (the host), but it also needs to be installed on the worker nodes (the engines). Following the usual instructions for each machine.</div>



<div>
<br></div><div><a href="http://ipython.org/ipython-doc/dev/install/install.html#dependencies-for-ipython-parallel-parallel-computing" target="_blank">http://ipython.org/ipython-doc/dev/install/install.html#dependencies-for-ipython-parallel-parallel-computing</a></div>




<div><br></div><div>The only extra dependency we will need is (py)zmq.</div><div><br></div><div>Optionally, we will need to install mpi4py to support MPI applications.</div></blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div><br></div><div><a href="http://ipython.org/ipython-doc/dev/parallel/parallel_mpi.html#additional-installation-requirements" target="_blank">http://ipython.org/ipython-doc/dev/parallel/parallel_mpi.html#additional-installation-requirements</a></div>

</blockquote><div><br></div><div>That&#39;s exactly right.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div><br></div><div>After this is done, we will have to follow the instructions here to create an appropriate profile on the log-in node in the user&#39;s config directory and then copy the json file over the config directories on the other nodes. The users won&#39;t have write access to the nodes, so I&#39;m a bit confused about best practice here or maybe I&#39;m misunderstanding.</div>

</blockquote><div><br></div><div>Hm, that&#39;s a new restriction I haven&#39;t dealt with.  Is there no shared filesystem, etc.? Can the nodes mount remote filesystems?</div><div>If not, you may need to write a new engine startup script that loads connection info from some other mechanism, rather than the filesystem.</div>

<div>Should be doable, but a bit weird.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div><br></div><div><a href="http://ipython.org/ipython-doc/dev/parallel/parallel_process.html#starting-the-controller-and-engines-on-different-hosts" target="_blank">http://ipython.org/ipython-doc/dev/parallel/parallel_process.html#starting-the-controller-and-engines-on-different-hosts</a></div>



<div><br></div><div>Then I should just be able to use the LSFLauncher to schedule jobs?</div><div><br></div><div><a href="http://ipython.org/ipython-doc/dev/api/generated/IPython.parallel.apps.launcher.html#IPython.parallel.apps.launcher.LSFLauncher" target="_blank">http://ipython.org/ipython-doc/dev/api/generated/IPython.parallel.apps.launcher.html#IPython.parallel.apps.launcher.LSFLauncher</a></div>

</blockquote><div><br></div><div>Yes, if you can get connection files to a location readable by the nodes, then LSF launcher should work.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">



<div><br></div><div>Thanks,</div><div><br></div><div>Skipper</div>
<br>_______________________________________________<br>
IPython-User mailing list<br>
<a href="mailto:IPython-User@scipy.org">IPython-User@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-user" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>
<br></blockquote></div><br>