<br><br><div class="gmail_quote">On Mon, Jun 11, 2012 at 7:52 PM, Fernando Perez <span dir="ltr">&lt;<a href="mailto:fperez.net@gmail.com" target="_blank">fperez.net@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

Hey guys,<br>
<br>
I&#39;m wondering if we shouldn&#39;t make nodb the default... The new cell<br>
magics and the ability to combiine cython with parallel stuff make it<br>
so blindingly easy to parallelize existing codes (for certain<br>
patterns, of course!) that I bet people are *quickly* going to run<br>
into the problems with memory introduced by the persistent backends.<br>
I was just now parallelizing some Gibbs sampling code in Cython<br>
written by Chris Fonnesbeck for a panel at the R conference later this<br>
week, and all of a sudden noticed my machine grind to a halt.  I had<br>
only run the code a few times, and I was overwriting the same<br>
variables over and over, so I wasn&#39;t really thinking I&#39;d be in memory<br>
trouble, but it was the hub&#39;s persistence that bit me.<br>
<br>
The DB backends are really useful only in more advanced circumstances,<br>
so I&#39;m thinking that perhaps they should be activated knowingly by<br>
users who need their features, leaving the &#39;naive&#39; patterns to behave<br>
a bit better.  What I&#39;m worried is that right now, a fairly natural<br>
use pattern degrades badly and somewhat mysteriously (unless you<br>
really know what&#39;s under the hood).<br>
<br>
Thoughts?<br></blockquote><div><br></div><div>I&#39;m 50-50.  I generally think of NoDB as an optimization, which would suggest that *it* should be the optional case for people in the know, rather than the other way around.</div>

<div><br></div><div>I don&#39;t view delayed result retrieval as &quot;advanced&quot;, but I think has turned out to be rare, so I would be okay with this.  The one thing it changes is adding big warnings to the docs, because a huge swath of features would be totally unavailable by default.</div>

<div><br></div><div>In fact, with NoDB the Hub does very nearly nothing, and can be killed entirely after engines and clients are connected with ~no consequences.</div><div><br></div><div>-MinRK</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">


<br>
f<br>
_______________________________________________<br>
IPython-dev mailing list<br>
<a href="mailto:IPython-dev@scipy.org">IPython-dev@scipy.org</a><br>
<a href="http://mail.scipy.org/mailman/listinfo/ipython-dev" target="_blank">http://mail.scipy.org/mailman/listinfo/ipython-dev</a><br>
</blockquote></div><br>