Looks like there is another example in that same directory that creates some convenience functions around inter-engine communication. I suspect it will solve my problem.<div><br></div><div><a href="https://github.com/ipython/ipython/blob/master/docs/examples/parallel/interengine/interengine.py">https://github.com/ipython/ipython/blob/master/docs/examples/parallel/interengine/interengine.py</a></div>
<div><br></div><div><br><br><div class="gmail_quote">On Fri, Jan 6, 2012 at 5:30 PM, Fernando Perez <span dir="ltr">&lt;<a href="mailto:fperez.net@gmail.com">fperez.net@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi Matthew,<br>
<div><div class="h5"><br>
On Fri, Jan 6, 2012 at 1:59 PM, Matthew Rocklin &lt;<a href="mailto:mrocklin@gmail.com">mrocklin@gmail.com</a>&gt; wrote:<br>
&gt; Hello,<br>
&gt;<br>
&gt; What is the easiest way for me to send data directly between two ipython<br>
&gt; engines?<br>
&gt;<br>
&gt; I.e. if I&#39;m running a &quot;master&quot; script on a particular machine and type in<br>
&gt; something like the following<br>
&gt;<br>
&gt; rc = p.Client()<br>
&gt; e0 = rc[0]<br>
&gt; e1 = rc[1]<br>
&gt; e0[&#39;data&#39;] = e1[&#39;data&#39;]<br>
&gt;<br>
&gt; Then I suspect the data will be sent from e1 up to the master engine and<br>
&gt; then down to e0. How can I skip the intermediate step?<br>
<br>
</div></div>Yup, that&#39;s what happens now.  I know Min a little while ago whipped<br>
up something for engine-to-engine communication in zmq, but there&#39;s no<br>
high-level interface for that yet.  This implements a simple 2d<br>
parallel wave solver, and it&#39;s the only example we have at this point<br>
going in this direction:<br>
<br>
<a href="https://github.com/ipython/ipython/tree/master/docs/examples/parallel/wave2D" target="_blank">https://github.com/ipython/ipython/tree/master/docs/examples/parallel/wave2D</a><br>
<br>
Before we had punted on this problem altogether, b/c the overhead of<br>
Twisted was so high that for all sensible use cases needing this, the<br>
answer was always &#39;use mpi&#39;.  Now, with zmq that&#39;s not the case<br>
anymore, so we&#39;ll probably add some support for mpi-like<br>
communications using purely zmq and the ipython api, but that hasn&#39;t<br>
happened yet.<br>
<br>
<br>
Best<br>
<span class="HOEnZb"><font color="#888888"><br>
f<br>
</font></span></blockquote></div><br></div>