<br><br><div class="gmail_quote">On Tue, Jul 27, 2010 at 10:06 AM, kcsmith <span dir="ltr">&lt;<a href="mailto:kcsmith@raytheon.com">kcsmith@raytheon.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
<br>
I got it to work by NOT using ipcluster<br>
<br>
For those who care, here&#39;s the script I submit via qsub to the Sun Gird<br>
Engine on an 80 core, 10 compute node Linux Rocks cluster<br>
-----------------------------------------------------------<br>
#!/bin/bash<br>
#$ -cwd<br>
#$ -pe Common 40<br>
#$ -j y<br>
#$ -S /bin/bash<br>
echo &quot;Starting...&quot;<br>
echo $HOSTNAME<br>
echo $NSLOTS<br>
# Note:  Some of the following may not be needed<br>
export TMP=/tmp<br>
export TMPDIR=/tmp<br>
export MPI_DIR=/opt/openmpi/<br>
PATH=$PATH:/opt/openmpi/bin:/share/apps/bin:/share/apps/lib<br>
export PATH<br>
# Note: Sun Grid Engine will pick a compute node to run this on (i.e. NOT<br>
the head node under Rocks)<br>
ipcontroller -r --client-location=$HOSTNAME --engine-location=$HOSTNAME<br>
--client-port=10100 --engine-port=10101 -l=ipcontroller.log &amp;<br>
sleep 3<br>
echo &quot;starting ipengines...&quot;<br>
mpiexec -n $NSLOTS ipengine --mpi=mpi4py<br>
wait<br>
-------------------------------------------------------------<br>
<br>
I was mislead by the ipcluster documentation which appears to imply that<br>
ipcluster mpiexec -n $NSLOTS --mpi=mpi4py<br>
would work when ipengines and client run on different servers.<br>
<br></blockquote><div><br></div><div>It should work.  I just tried this on my local system and the furl files are setup correctly:</div><div><br></div><div><div>pb://<a href="http://3whjynbf2wtbwwvkmoalfjfecwrrcr4f@127.0.0.1:52215">3whjynbf2wtbwwvkmoalfjfecwrrcr4f@127.0.0.1:52215</a>,<a href="http://192.168.2.204:52215/u3he7ljdixtwt4yhrwrq7kjv7oe6nw2r">192.168.2.204:52215/u3he7ljdixtwt4yhrwrq7kjv7oe6nw2r</a></div>
</div><div><br></div><div>Notice that both local host (127.0.0.1) and my public IP address (192.168.2.204) are listed.  Do your furl files really only have localhost? </div><div><br></div><div>For this to work, you will need to have a shared home directory on the compute nodes that will have the furl files in $HOME/.ipython/security.</div>
<div><br></div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
If you see the following error message:<br>
<br>
Failure: twisted.internet.error.ConnectionRefusedError: Connection was<br>
refused by other side: 111: Connection refused.<br>
<br>
Check your furl files<br>
<div class="im"><br>
<br>
<br>
<br>
kcsmith wrote:<br>
&gt;<br>
&gt; I&#39;m trying to run ipcluster under the sun grid engine on a 10 node cluster<br>
&gt; and I encountered the following error.<br>
&gt;<br>
&gt; Only those ipengines which reside on the same node as ipcontroller<br>
&gt; connect.   The rest get CONNECTION REFUSED[111] errors.<br>
&gt;<br>
&gt; I traced this problem down to the furl files that ipcontroller creates.<br>
&gt; They only have the local host ip address listed.<br>
&gt; pb://<a href="http://d2vqoq6l7tmjtdjl4gi2ctwlwbxzzdc2@127.0.0.1:56104/ei4yhcb5qqa3pyyoi32j3guqfkzqtd5q" target="_blank">d2vqoq6l7tmjtdjl4gi2ctwlwbxzzdc2@127.0.0.1:56104/ei4yhcb5qqa3pyyoi32j3guqfkzqtd5q</a><br>
&gt;<br>
&gt; If I manually add the actual ipcontroller node&#39;s ip address to the furl<br>
&gt; then everything works, ipengines connect and the client connects.<br>
&gt;<br>
&gt; i.e.<br>
&gt;<br>
&gt; pb://<a href="http://d2vqoq6l7tmjtdjl4gi2ctwlwbxzzdc2@10.0.255.234:56104/ei4yhcb5qqa3pyyoi32j3guqfkzqtd5q" target="_blank">d2vqoq6l7tmjtdjl4gi2ctwlwbxzzdc2@10.0.255.234:56104/ei4yhcb5qqa3pyyoi32j3guqfkzqtd5q</a><br>

&gt;<br>
&gt; When ipcontroller is started on 10.0.255.234<br>
&gt;<br>
&gt; Is there some system setting or environment variable which can be set to<br>
&gt; force foolscap to include the ipcontroller node ip address?  Or is there<br>
&gt; something else wrong??<br>
&gt;<br>
&gt; Thanks,<br>
&gt; Keith<br>
&gt;<br>
<br>
--<br>
</div>View this message in context: <a href="http://old.nabble.com/furls-only-have-localhost-as-ipcontroller-location-tp29271660p29278568.html" target="_blank">http://old.nabble.com/furls-only-have-localhost-as-ipcontroller-location-tp29271660p29278568.html</a><br>

<div><div></div><div class="h5">Sent from the IPython - User mailing list archive at Nabble.com.<br>
<br>
_______________________________________________<br>
IPython-User mailing list<br>
<a href="mailto:IPython-User@scipy.org">IPython-User@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-user" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>
</div></div></blockquote></div><br><br clear="all"><br>-- <br>Brian E. Granger, Ph.D.<br>Assistant Professor of Physics<br>Cal Poly State University, San Luis Obispo<br><a href="mailto:bgranger@calpoly.edu">bgranger@calpoly.edu</a><br>
<a href="mailto:ellisonbg@gmail.com">ellisonbg@gmail.com</a><br>