<br><br><div class="gmail_quote">On Fri, Jul 27, 2012 at 2:19 PM, Matthew Turk <span dir="ltr">&lt;<a href="mailto:matthewturk@gmail.com" target="_blank">matthewturk@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

Hi Min,<br>
<div><div class="h5"><br>
On Fri, Jul 27, 2012 at 4:04 PM, MinRK &lt;<a href="mailto:benjaminrk@gmail.com">benjaminrk@gmail.com</a>&gt; wrote:<br>
&gt;<br>
&gt;<br>
&gt; On Fri, Jul 27, 2012 at 10:53 AM, Matthew Turk &lt;<a href="mailto:matthewturk@gmail.com">matthewturk@gmail.com</a>&gt;<br>
&gt; wrote:<br>
&gt;&gt;<br>
&gt;&gt; Hi there,<br>
&gt;&gt;<br>
&gt;&gt; I&#39;m trying to set up a custom profile for IPython running on my local<br>
&gt;&gt; machine under MPI, but I&#39;m running into trouble.  This is with the<br>
&gt;&gt; released 0.13.  I&#39;d like at startup for a couple commands to be run,<br>
&gt;&gt; to signal to my Python package that it should expect to be running in<br>
&gt;&gt; parallel (with MPI).  Unfortunately, I&#39;m not quite getting the<br>
&gt;&gt; behavior I&#39;d expect, and I think it must be something simple on my end<br>
&gt;&gt; that I&#39;m not understanding.<br>
&gt;&gt;<br>
&gt;&gt; I&#39;ve created a new profile with:<br>
&gt;&gt;<br>
&gt;&gt; ipython profile create --profile yt --parallel<br>
&gt;&gt;<br>
&gt;&gt; Into the startup directory I&#39;ve placed the normal startup commands --<br>
&gt;&gt; in this case, the main import for the module I intend to work with --<br>
&gt;&gt; inside a 00-startup.py file.  I&#39;m able to spawn new notebooks that<br>
&gt;&gt; start up as I&#39;d expect if I do &quot;ipython notebook --profile=yt&quot;.  So<br>
&gt;&gt; that seems to work properly.  For starting in parallel, I&#39;ve modified<br>
&gt;&gt; the generated profile in a few places:<br>
&gt;&gt;<br>
&gt;&gt;  * I&#39;ve set c.IPClusterEngines.profile = u&#39;yt&#39; in ipcluster_config.py<br>
&gt;&gt;  * I&#39;ve changed c.IPClusterEngines.engine_launcher_class to &quot;MPI&quot; in<br>
&gt;&gt; ipcluster_config.py<br>
&gt;<br>
&gt;<br>
&gt; Exactly right.<br>
&gt;<br>
&gt;&gt;<br>
&gt;&gt;  * In ipengine_config.py I&#39;ve set c.IPEngineApp.profile = u&#39;yt&#39; (I was<br>
&gt;&gt; not sure if this was either unnecessary or redundant)<br>
&gt;<br>
&gt;<br>
&gt; Yes, setting profile in config files is indeed always redundant (both cases,<br>
&gt; here).<br>
&gt;<br>
&gt;&gt;<br>
&gt;&gt;  * In ipengine_config.py I&#39;ve added a startup command in<br>
&gt;&gt; c.IPEngineApp.startup_command<br>
&gt;<br>
&gt;<br>
&gt; Re-reading the code, this config was broken when the forked Kernel<br>
&gt; implementations were merged for 0.13.<br>
&gt; I think right now it is impossible to trigger startup code on engines in<br>
&gt; 0.13 or master.<br>
&gt; Can you open an Issue for this?<br>
&gt;<br>
&gt; The reason being that Kernels/Shells are shared, but the Application objects<br>
&gt; are still separate, and that is where this startup config lives.<br>
&gt; Ultimately, IPEngineApp should go away, but we aren&#39;t quite there yet.<br>
<br>
</div></div>Ah, okay.  Thanks for digging into this.  I&#39;ve opened issue #2213:<br>
<br>
<a href="https://github.com/ipython/ipython/issues/2213" target="_blank">https://github.com/ipython/ipython/issues/2213</a></blockquote><div><br></div><div>Thanks!  And I may have <a href="https://github.com/ipython/ipython/pull/2214">a fix</a> for you.</div>

<div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
<br>
Best,<br>
<br>
Matt<br>
<div class="HOEnZb"><div class="h5"><br>
&gt;<br>
&gt;&gt;<br>
&gt;&gt; In the web notebook launcher, changes to the number of processors is<br>
&gt;&gt; reflected in what happens when I click on &quot;start&quot;.  And looking at the<br>
&gt;&gt; output of top/ps I also see that the engines have been launched with<br>
&gt;&gt; mpiexec as I have requested.  I&#39;m also able to connect to them and<br>
&gt;&gt; verify that they have been launched, but running &quot;dir()&quot; doesn&#39;t show<br>
&gt;&gt; the expected imports, from the startup_command.  I&#39;m also unable to<br>
&gt;&gt; get anything to be run if I set c.MPI.init_script to be an existing<br>
&gt;&gt; script.  Am I missing something with how to set up the configuration?<br>
&gt;&gt;<br>
&gt;&gt; Thanks for any ideas,<br>
&gt;&gt;<br>
&gt;&gt; Matt<br>
&gt;&gt; _______________________________________________<br>
&gt;&gt; IPython-User mailing list<br>
&gt;&gt; <a href="mailto:IPython-User@scipy.org">IPython-User@scipy.org</a><br>
&gt;&gt; <a href="http://mail.scipy.org/mailman/listinfo/ipython-user" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; _______________________________________________<br>
&gt; IPython-User mailing list<br>
&gt; <a href="mailto:IPython-User@scipy.org">IPython-User@scipy.org</a><br>
&gt; <a href="http://mail.scipy.org/mailman/listinfo/ipython-user" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>
&gt;<br>
_______________________________________________<br>
IPython-User mailing list<br>
<a href="mailto:IPython-User@scipy.org">IPython-User@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-user" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-user</a><br>
</div></div></blockquote></div><br>