<html>
  <head>

  </head>
  <body style="margin-top: 4px; line-height: normal; font-variant: normal; margin-right: 4px; margin-bottom: 1px; margin-left: 4px">
<br>      
    <p style="margin-top: 0; margin-bottom: 0">
      <font size="3" face="Lucida Grande">It may be more a case of differing nomenclature. To me a profile/profile name is something you set up once and applies to a class of things. i.e within SGE we have a parallel environment &#40;or profile&#41; called mpich and when we tell any script to use that particular parallel environment it sets things up a certain way. When you actually submit a job to SGE using that profile it gets a jobid which is what you can use to track or kill the actual job.</font>    </p>
<br>      
    <p style="margin-top: 0; margin-bottom: 0">
      <font size="3" face="Lucida Grande">The 1-1 correspondence makes sense if you plan to have the ipcluster running continuously of a certain number of cluster nodes and keep connecting and disconnecting with local ipython clients. </font>    </p>
<br>      
    <p style="margin-top: 0; margin-bottom: 0">
      <font size="3" face="Lucida Grande">To me the use case that makes sense is different. We submit a job to run on a certain number of nodes and after the job s completed those the nodes are released for other non ipython runs like our fortran hydro models. In that case the &#39;profile&#39; is what tells it how to submit a job to the sge queue etc and the job-id or controller-id is what we use to run the job/kill the job etc. Maybe --controller-id flag could be an optional parameter.</font>    </p>
<br>      
    <p style="margin-top: 0; margin-bottom: 0">
      <font size="3" face="Lucida Grande">Another feature request is some way of knowing when the engines have all started up&#44; depending on how busy the cluster SGE queue is the engine may not start up immediately. Right now&#44; I&#39;m using a while loop that checks for the presence of the json file every 5 seconds. This works but seem inelegant.</font>    </p>
<br>      
    <p style="margin-top: 0; margin-bottom: 0">
      <font size="3" face="Lucida Grande">let me know if this use case makes sense or if I&#39;m missing something in the way these features were designed to be used.</font>    </p>
<br>      
    <p style="margin-top: 0; margin-bottom: 0">
      <font size="3" face="Lucida Grande">- dharhas</font>    </p>
<br>      
    <p style="margin-top: 0; margin-bottom: 0">
      <br>
      &gt;&gt;&gt; MinRK &lt;benjaminrk@gmail.com&gt; 9/14/2011 2:12 PM &gt;&gt;&gt;<br><br><br>    </p>
    <div class="gmail_quote">
      <p style="margin-top: 0; margin-bottom: 0">
        On Wed&#44; Sep 14&#44; 2011 at 11:13&#44; Fernando Perez <span dir="ltr">&lt;<a href="mailto:fperez.net@gmail.com">fperez.net@gmail.com</a>&gt;</span>&nbsp;wrote:<br>      </p>
      <blockquote class="gmail_quote" style="margin-top: 0; border-left: 1px #ccc solid; margin-right: 0; padding-left: 0; margin-bottom: 0; margin-left: 0">
        <p style="margin-top: 0; margin-bottom: 0">
          Hi Dharhas&#44;<br><br>On Wed&#44; Sep 14&#44; 2011 at 6:59 AM&#44; Dharhas Pothina<br>        </p>
        <div class="im">
          <p style="margin-top: 0; margin-bottom: 0">
            &lt;<a href="mailto:Dharhas.Pothina@twdb.state.tx.us">Dharhas.Pothina@twdb.state.tx.us</a>&gt; wrote:<br>          </p>
        </div>
        <div class="im">
          <p style="margin-top: 0; margin-bottom: 0">
            &gt; I ended up writing a script that connected to the cluster and made a copy of<br>&gt; an already created profile with a new unique name&#44; started ipcluster&#44; waited<br>&gt; till the json file was created and then retrieved the json file for use in a<br>&gt; local client&#44; runs my script and then cleans up afterwards.<br>&gt;<br>&gt; This seems to be working fairly well except when the local script exits<br>&gt; because of an error. In that case&#44; I need to log in and stop the engines&#44;<br>&gt; clean up files etc manually.<br><br>          </p>
        </div>
        <p style="margin-top: 0; margin-bottom: 0">
          OK. We probably should remove the assumption of a 1 to 1 mapping<br>between profiles and running clusters&#44; but that will require a fair<br>bit of reorganization of code that uses that assumption&#44; so I&#39;m glad<br>you found a solution for now.<br>        </p>
      </blockquote>
      <div>
        <p style="margin-top: 0; margin-bottom: 0">
          <br>
                  </p>
      </div>
      <div>
        <p style="margin-top: 0; margin-bottom: 0">
          Yes&#44; it&#39;s a pretty big deal that the only thing engines and clients need to know to connect to a cluster is the profile name. That is lost entirely if we allow multiple clusters with a single profile&#44; since profile name becomes ambiguous. We would then need to add a second layer of specification for which controller to use within a given profile&#44; e.g.:        </p>
      </div>
      <div>
        <p style="margin-top: 0; margin-bottom: 0">
          <br>
                  </p>
      </div>
      <div>
        <p style="margin-top: 0; margin-bottom: 0">
          ipengine --profile&#61;mysge --controller-id&#61;12345        </p>
      </div>
      <div>
        <p style="margin-top: 0; margin-bottom: 0">
          <br>
                  </p>
      </div>
      <div>
        <p style="margin-top: 0; margin-bottom: 0">
          I think I could add support for exactly this without much code change at all&#44; though.        </p>
      </div>
      <div>
        <p style="margin-top: 0; margin-bottom: 0">
          <br>
                  </p>
      </div>
      <div>
        <p style="margin-top: 0; margin-bottom: 0">
          Feature Request opened on GitHub: <a href="https://github.com/ipython/ipython/issues/794">https://github.com/ipython/ipython/issues/794</a>        </p>
      </div>
      <div>
<br>          
      </div>
      <blockquote class="gmail_quote" style="margin-top: 0; border-left: 1px #ccc solid; margin-right: 0; padding-left: 0; margin-bottom: 0; margin-left: 0">
        <p style="margin-top: 0; margin-bottom: 0">
          <br>
          Cheers&#44;<br><font color="#888888"><br style="color: #888888">f<br style="color: #888888"></font>        </p>
      </blockquote>
    </div>
    <p style="margin-top: 0; margin-bottom: 0">
      <br>
    </p>
  </body>
</html>