<span class="" style="font-family:monospace;border-collapse:separate;color:rgb(0,0,0);font-size:medium">This question has been asked several times, but I can find no satisfactory answer:<br><br>How can I have plots generated in the background while a calculation runs in the main thread (so that I can interrupt the calculation with Ctrl-C for example.)  My goals are:<br>
<br>1) Main calculation does not block when calling a &quot;plot&quot; function to plot data as it is computed.<br>2) Main calculation can be interrupted by user with Ctrl-C.<br>3) Plotting occurs in &quot;background&quot; plotting.<br>
4) Cross-platform.  (At least on Mac OS X and Linux).<br>5) Simple.<br><br>I envision a multithreaded approach (see below), but 2) seems to require that the calculation be in the main thread, which the plotting GUI&#39;s do not like.  A multiprocessing approach seems like it should also work (like <a href="http://stackoverflow.com/a/4662511/1088938">http://stackoverflow.com/a/4662511/1088938</a>), but on my Mac (10.5) I get<br>
<br>The process has forked and you cannot use this CoreFoundation functionality safely. You MUST exec().<br>Break on __THE_PROCESS_HAS_FORKED_AND_YOU_CANNOT_USE_THIS_COREFOUNDATION_FUNCTIONALITY___YOU_MUST_EXEC__() to debug.<br>
<br>Also, I think that the GIL is probably good here so I do not have to copy data between processes, nor do I need to worry about the calculation thread updating the data while the plot thread is reading etc.<br><br>I feel there must be some sort of simple solution with IPython, but I will be darned if I can figure it out.  It seems like the pre 1.11 ipython solution of running the calculation in a secondary thread (by calling embed()) but I cannot figure out how to get user interrupts to affect that thread (point 2).<br>
<br>Would something like twisted help?<br><br>I know I could run two separate python instances, and use sockets to communicate back and forth, but this approach seems much more complicated (the user needs to start both processes for example).  Maybe I could use parallelpython to automate this, but it still seems significantly more complicated than it should be.<br>
<br>Any suggestions would be greatly appreciated.<br><br>Here is what I envision would work if I could run the plotting in a secondary thread: The computational thread calls update() which pushes the arguments into a queue discarding unused previous values.  The plotting thread should get these from the queue and plot as quickly as it can.<br>
<br>In fact, this seems to work on linux with ipython --pylab wx, but I can&#39;t figure out how to get this working on my Mac (the plot window never update).  It also fails with other backends (probably because I am trying to plot from a non-main thread.)<br>
<br>Thanks,<br>Michael.<br><br><br>import time<br>from threading import Thread, Event<br>from Queue import Queue, Empty, Full<br>import warnings<br><br>#from multiprocessing import Process as Thread<br>#from multiprocessing import Queue, Event<br>
<br>from matplotlib import pyplot as plt<br><br><br>class PylabPlot(Thread):<br>   def __init__(self, timeout=60):<br>       r&quot;&quot;&quot;<br>       Parameters<br>       ----------<br>       timeout : float<br>          Kill the thread if no activity for this many seconds.<br>
       &quot;&quot;&quot;<br>       self.timeout = timeout<br>       self.queue = Queue(maxsize=1)<br>       self.event = Event()<br>       Thread.__init__(self)<br>       self.dead = False<br>       self.running = False<br>
       self.start()<br><br>   def stop(self):<br>       self.running = False<br>       self.event.set()<br><br>   def update(self, *v, **kw):<br>       if self.dead:<br>           warnings.warn(&quot;Plot thread is dead... ignoring update command.&quot;)<br>
           return<br>       try:<br>           self.queue.put((v, kw), block=False)<br>       except Full:<br>           # Remove an item, then put this one.<br>           try:     # draw might be called in the meantine...<br>
               self.queue.get(block=False)<br>           except Empty:<br>               pass<br>           self.queue.put((v, kw), block=False)  # This should not fail<br>       self.event.set()<br><br>   def run(self):<br>
       self.running = True<br>       while self.running:<br>           self.event.wait(timeout=self.timeout)<br>           self.event.clear()<br>           if self.queue.empty():<br>               self.running = False<br>
           else:<br>               while not self.queue.empty():<br>                   try:<br>                       v, kw = self.queue.get(block=False)<br>                   except Empty:<br>                       pass<br>
                   self.draw(*v, **kw)<br>       self.dead = True<br><br><br>def go():<br>   import numpy as np<br><br>   class Plot(PylabPlot):<br>       def draw(self, x, y):<br>           plt.ioff()<br>           plt.clf()<br>
           plt.plot(x, y)<br>           print y<br>           plt.ion()<br>           plt.draw()<br>           time.sleep(0.5)     # Pretend this is slow<br><br>   plt.clf()<br>   tmp = raw_input(&quot;Position plot window, and press enter to run...&quot;)<br>
   x = np.linspace(0, 2*np.pi, 10)<br>   dt = 0.001<br>   t = 0<br>   p = Plot()<br>   try:<br>       for n in xrange(10000):<br>           t += dt<br>           y = np.sin(x - t)<br>           p.update(x=x, y=y)   # This should not take long and should not block<br>
   finally:<br>       p.stop()   # Make sure that we exit gracefully.<br><br>if __name__ == &quot;__main__&quot;:<br>   go()</span><div></div><div><span class="" style="font-family:monospace;border-collapse:separate;color:rgb(0,0,0);font-size:medium"><br>
</span></div><div><span class="" style="font-family:monospace;border-collapse:separate;color:rgb(0,0,0);font-size:medium">P.S. Sorry if this post appears twice: I have been having some problems with my mail server.<br></span></div>