<html>
  <head>

  </head>
  <body style="font-size: 12pt; margin-right: 4px; margin-left: 4px; line-height: normal; font-family: Lucida Grande; font-weight: normal; margin-bottom: 1px; font-variant: normal; margin-top: 4px; font-style: normal">
<br>      
    <p style="margin-top: 0; margin-bottom: 0">
      <font size="3" face="Lucida Grande">I was able to start the engines and they were submitted to the queue properly but I do not have a json file in the corresponding security folder. Do I need to do something to generate it.</font>    </p>
<br>      
    <p style="margin-top: 0; margin-bottom: 0">
      <font size="3" face="Lucida Grande">- dharhas</font><br><br>&gt;&gt;&gt; MinRK &lt;benjaminrk@gmail.com&gt; 8/24/2011 4:44 PM &gt;&gt;&gt;<br>On a login node on the cluster:<br><br>&#35; create profile with default parallel config files&#44; called sge<br>&#91;login&#93; &#36;&gt; ipython profile create sge --parallel<br><br>edit IPYTHON_DIR/profile_sge/ipcontroller_config.py&#44; adding the line:<br><br>c.HubFactory.ip &#61; &#39;0.0.0.0&#39;<br><br>to instruct the controller to listen on all interfaces.<br><br>Edit IPYTHON_DIR/profile_sge/ipcluster_config.py&#44; adding the line:<br><br>c.IPClusterEngines.engine_launcher_class &#61; &#39;SGEEngineSetLauncher&#39;<br>c.IPClusterStart.controller_launcher_class &#61; &#39;SGEControllerLauncher&#39;<br><br>&#35; optional: specify a queue for all:<br>c.SGELauncher.queue &#61; &#39;short&#39;<br>To instruct ipcluster to use SGE to launch the engines and the controller<br><br>At this point&#44; you can start 10 engines and a controller with:<br><br>&#91;login&#93; &#36;&gt; ipcluster start -n 10 --profile&#61;sge<br><br>Now the only file you will need to connect to the cluster will be in:<br><br>IPYTHON_DIR/profile_sge/security/ipcontroller_client.json<br><br>Just move that file around&#44; and you will be able to connect clients.<br>To connect from a laptop&#44; you will probably need to specify a login<br>node as the ssh server when you do:<br><br>from IPython import parallel<br><br>rc &#61; parallel.Client&#40;&#39;/path/to/ipcontroller_client.json&#39;&#44;<br>sshserver&#61;&#39;you@login.mycluster.etc&#39;&#41;<br><br>-MinRK<br><br><br>On Wed&#44; Aug 24&#44; 2011 at 13:18&#44; Dharhas Pothina<br>&lt;Dharhas.Pothina@twdb.state.tx.us&gt; wrote:<br>&gt; Hi All&#44;<br>&gt;<br>&gt; We have managed to parallelize one of our spatial interpolation scripts very<br>&gt; easily with the new ipython parallel. Thanks for developing such a great<br>&gt; tool&#44; it was fairly easy to get working. Now we are trying to set things up<br>&gt; to run on our internal cluster and I&#39;m having difficulties understanding how<br>&gt; to configure things.<br>&gt;<br>&gt; What I would like to do is have ipython running on a local machine &#40;windows<br>&gt; &amp; linux&#41; connect to the cluster&#44; request some nodes through SGE and run the<br>&gt; computation. I&#39;m not quite getting what goes where from the documentation.<br>&gt;<br>&gt; I think I understood the PBS example but I&#39;m still not understanding where I<br>&gt; would put the connection information to log into the cluster. I would really<br>&gt; appreciate a step by step of what files need to be where and any example<br>&gt; config files for an SGE setup.<br>&gt;<br>&gt; thanks&#44;<br>&gt;<br>&gt; - dharhas<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; _______________________________________________<br>&gt; IPython-User mailing list<br>&gt; IPython-User@scipy.org<br>&gt; <a href="http://mail.scipy.org/mailman/listinfo/ipython-user">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>&gt;<br>&gt;<br>_______________________________________________<br>IPython-User mailing list<br>IPython-User@scipy.org<br><a href="http://mail.scipy.org/mailman/listinfo/ipython-user">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>
    </p>
  </body>
</html>