<html>
  <head>

  </head>
  <body style="font-style: normal; font-weight: normal; line-height: normal; margin-bottom: 1px; font-family: Lucida Grande; margin-top: 4px; font-size: 12pt; font-variant: normal; margin-left: 4px; margin-right: 4px">
<br>      
    <p style="margin-top: 0; margin-bottom: 0">
      <font size="3" face="Lucida Grande">One more related question. I&#39;ve got things working as described below and it looks like each time I start ipcluster it overwrites the ipcontroller_client.json and the ipcontroller_engine.json file. Does this mean I can only have one ipcluster running&#63; Or if I start the ipcluster and then copy the json file to the clients that require them can I then start another ipcluster job and use the new json file for the new clients.</font>    </p>
<br>      
    <p style="margin-top: 0; margin-bottom: 0">
      <font size="3" face="Lucida Grande">thanks&#44;</font>    </p>
<br>      
    <p style="margin-top: 0; margin-bottom: 0">
      <font size="3" face="Lucida Grande">- dharhas</font><br><br>&gt;&gt;&gt; MinRK &lt;benjaminrk@gmail.com&gt; 8/24/2011 5:07 PM &gt;&gt;&gt;<br>On Wed&#44; Aug 24&#44; 2011 at 15:05&#44; Dharhas Pothina<br>&lt;Dharhas.Pothina@twdb.state.tx.us&gt; wrote:<br>&gt;<br>&gt; I was able to start the engines and they were submitted to the queue<br>&gt; properly but I do not have a json file in the corresponding security folder.<br>&gt; Do I need to do something to generate it.<br><br>The JSON file is written by ipcontroller&#44; so it will only show up<br>after the controller has started.<br><br>&gt;<br>&gt; - dharhas<br>&gt;<br>&gt;&gt;&gt;&gt; MinRK &lt;benjaminrk@gmail.com&gt; 8/24/2011 4:44 PM &gt;&gt;&gt;<br>&gt; On a login node on the cluster:<br>&gt;<br>&gt; &#35; create profile with default parallel config files&#44; called sge<br>&gt; &#91;login&#93; &#36;&gt; ipython profile create sge --parallel<br>&gt;<br>&gt; edit IPYTHON_DIR/profile_sge/ipcontroller_config.py&#44; adding the line:<br>&gt;<br>&gt; c.HubFactory.ip &#61; &#39;0.0.0.0&#39;<br>&gt;<br>&gt; to instruct the controller to listen on all interfaces.<br>&gt;<br>&gt; Edit IPYTHON_DIR/profile_sge/ipcluster_config.py&#44; adding the line:<br>&gt;<br>&gt; c.IPClusterEngines.engine_launcher_class &#61; &#39;SGEEngineSetLauncher&#39;<br>&gt; c.IPClusterStart.controller_launcher_class &#61; &#39;SGEControllerLauncher&#39;<br>&gt;<br>&gt; &#35; optional: specify a queue for all:<br>&gt; c.SGELauncher.queue &#61; &#39;short&#39;<br>&gt; To instruct ipcluster to use SGE to launch the engines and the controller<br>&gt;<br>&gt; At this point&#44; you can start 10 engines and a controller with:<br>&gt;<br>&gt; &#91;login&#93; &#36;&gt; ipcluster start -n 10 --profile&#61;sge<br>&gt;<br>&gt; Now the only file you will need to connect to the cluster will be in:<br>&gt;<br>&gt; IPYTHON_DIR/profile_sge/security/ipcontroller_client.json<br>&gt;<br>&gt; Just move that file around&#44; and you will be able to connect clients.<br>&gt; To connect from a laptop&#44; you will probably need to specify a login<br>&gt; node as the ssh server when you do:<br>&gt;<br>&gt; from IPython import parallel<br>&gt;<br>&gt; rc &#61; parallel.Client&#40;&#39;/path/to/ipcontroller_client.json&#39;&#44;<br>&gt; sshserver&#61;&#39;you@login.mycluster.etc&#39;&#41;<br>&gt;<br>&gt; -MinRK<br>&gt;<br>&gt;<br>&gt; On Wed&#44; Aug 24&#44; 2011 at 13:18&#44; Dharhas Pothina<br>&gt; &lt;Dharhas.Pothina@twdb.state.tx.us&gt; wrote:<br>&gt;&gt; Hi All&#44;<br>&gt;&gt;<br>&gt;&gt; We have managed to parallelize one of our spatial interpolation scripts<br>&gt;&gt; very<br>&gt;&gt; easily with the new ipython parallel. Thanks for developing such a great<br>&gt;&gt; tool&#44; it was fairly easy to get working. Now we are trying to set things<br>&gt;&gt; up<br>&gt;&gt; to run on our internal cluster and I&#39;m having difficulties understanding<br>&gt;&gt; how<br>&gt;&gt; to configure things.<br>&gt;&gt;<br>&gt;&gt; What I would like to do is have ipython running on a local machine<br>&gt;&gt; &#40;windows<br>&gt;&gt; &amp; linux&#41; connect to the cluster&#44; request some nodes through SGE and run<br>&gt;&gt; the<br>&gt;&gt; computation. I&#39;m not quite getting what goes where from the documentation.<br>&gt;&gt;<br>&gt;&gt; I think I understood the PBS example but I&#39;m still not understanding where<br>&gt;&gt; I<br>&gt;&gt; would put the connection information to log into the cluster. I would<br>&gt;&gt; really<br>&gt;&gt; appreciate a step by step of what files need to be where and any example<br>&gt;&gt; config files for an SGE setup.<br>&gt;&gt;<br>&gt;&gt; thanks&#44;<br>&gt;&gt;<br>&gt;&gt; - dharhas<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; _______________________________________________<br>&gt;&gt; IPython-User mailing list<br>&gt;&gt; IPython-User@scipy.org<br>&gt;&gt; <a href="http://mail.scipy.org/mailman/listinfo/ipython-user">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>&gt;&gt;<br>&gt;&gt;<br>&gt; _______________________________________________<br>&gt; IPython-User mailing list<br>&gt; IPython-User@scipy.org<br>&gt; <a href="http://mail.scipy.org/mailman/listinfo/ipython-user">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>&gt;<br>&gt; _______________________________________________<br>&gt; IPython-User mailing list<br>&gt; IPython-User@scipy.org<br>&gt; <a href="http://mail.scipy.org/mailman/listinfo/ipython-user">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>&gt;<br>&gt;<br>
    </p>
  </body>
</html>