<html><head></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div><div></div><div><br></div></div><blockquote class="webkit-indent-blockquote" style="margin: 0 0 0 40px; border: none; padding: 0px;"><div><div><div>USER &nbsp; &nbsp; &nbsp; PID &nbsp;%CPU %MEM &nbsp; &nbsp; &nbsp;VSZ &nbsp; &nbsp;RSS &nbsp; TT &nbsp;STAT STARTED &nbsp; &nbsp; &nbsp;TIME COMMAND</div></div></div><div><div><div>petigura 56013 100.0 &nbsp;0.3 &nbsp;2634324 &nbsp;53768 s003 &nbsp;R+ &nbsp; 10:26PM &nbsp; 0:35.62 python val2134.py</div></div></div><div><div><div>petigura 55962 &nbsp;99.0 &nbsp;0.3 &nbsp;2652864 &nbsp;55496 s003 &nbsp;R+ &nbsp; 10:26PM &nbsp; 1:13.14 python val2140.py</div></div></div><div><div><div>petigura 56025 &nbsp;99.0 &nbsp;0.3 &nbsp;2635648 &nbsp;53692 s003 &nbsp;R+ &nbsp; 10:26PM &nbsp; 0:28.09 python val2139.py</div></div></div><div><div><div>petigura 55812 &nbsp;98.5 &nbsp;0.3 &nbsp;2653816 &nbsp;62736 s003 &nbsp;R+ &nbsp; 10:24PM &nbsp; 2:36.85 python val2135.py</div></div></div><div><div><div>petigura 38665 &nbsp;22.6 &nbsp;0.5 &nbsp;2699096 &nbsp;99376 s002 &nbsp;R+ &nbsp; 12:17PM &nbsp;82:11.48 python ipython --pylab</div></div></div><div><div><div>petigura 44579 &nbsp; 0.3 &nbsp;0.2 &nbsp;2559724 &nbsp;33472 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 2:15.77 python ipcluster start --n=8</div></div></div><div><div><div>petigura 44584 &nbsp; 0.1 &nbsp;0.3 &nbsp;2643632 &nbsp;61900 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 1:07.71 python ipcontrollerapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 53491 &nbsp; 0.0 &nbsp;0.0 &nbsp;2666688 &nbsp; &nbsp;432 s003 &nbsp;S+ &nbsp; &nbsp;9:17PM &nbsp; 0:00.00 python ipengineapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 44596 &nbsp; 0.0 &nbsp;0.3 &nbsp;2666688 &nbsp;55640 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 0:06.63 python ipengineapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 44595 &nbsp; 0.0 &nbsp;0.3 &nbsp;2665664 &nbsp;55680 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 0:06.88 python ipengineapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 44594 &nbsp; 0.0 &nbsp;0.3 &nbsp;2666688 &nbsp;55636 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 0:07.32 python ipengineapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 44593 &nbsp; 0.0 &nbsp;0.3 &nbsp;2666688 &nbsp;55676 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 0:07.19 python ipengineapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 44592 &nbsp; 0.0 &nbsp;0.3 &nbsp;2664640 &nbsp;55668 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 0:07.60 python ipengineapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 44591 &nbsp; 0.0 &nbsp;0.3 &nbsp;2665664 &nbsp;55776 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 0:07.96 python ipengineapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 44590 &nbsp; 0.0 &nbsp;0.3 &nbsp;2665664 &nbsp;55680 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 0:07.72 python ipengineapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 44589 &nbsp; 0.0 &nbsp;0.3 &nbsp;2664640 &nbsp;55676 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 0:08.31 python ipengineapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 44588 &nbsp; 0.0 &nbsp;0.2 &nbsp;2635272 &nbsp;39724 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 0:25.99 python ipcontrollerapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 44587 &nbsp; 0.0 &nbsp;0.0 &nbsp;2623100 &nbsp; 2844 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 0:00.01 python ipcontrollerapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 44586 &nbsp; 0.0 &nbsp;0.0 &nbsp;2623100 &nbsp; 2708 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 0:00.01 python ipcontrollerapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 44585 &nbsp; 0.0 &nbsp;0.0 &nbsp;2614908 &nbsp; 2752 s003 &nbsp;S+ &nbsp; &nbsp;3:30PM &nbsp; 0:00.01 python ipcontrollerapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 56024 &nbsp; 0.0 &nbsp;0.0 &nbsp;2435544 &nbsp; &nbsp;808 s003 &nbsp;S+ &nbsp; 10:26PM &nbsp; 0:00.01 /bin/sh -c python val2139.py &gt; val2139.log</div></div></div><div><div><div>petigura 56012 &nbsp; 0.0 &nbsp;0.0 &nbsp;2435544 &nbsp; &nbsp;808 s003 &nbsp;S+ &nbsp; 10:26PM &nbsp; 0:00.01 /bin/sh -c python val2134.py &gt; val2134.log</div></div></div><div><div><div>petigura 55961 &nbsp; 0.0 &nbsp;0.0 &nbsp;2435544 &nbsp; &nbsp;808 s003 &nbsp;S+ &nbsp; 10:26PM &nbsp; 0:00.01 /bin/sh -c python val2140.py &gt; val2140.log</div></div></div><div><div><div>petigura 55811 &nbsp; 0.0 &nbsp;0.0 &nbsp;2435544 &nbsp; &nbsp;808 s003 &nbsp;S+ &nbsp; 10:24PM &nbsp; 0:00.01 /bin/sh -c python val2135.py &gt; val2135.log</div></div></div><div><div><div>petigura 53728 &nbsp; 0.0 &nbsp;0.0 &nbsp;2666688 &nbsp; &nbsp;428 s003 &nbsp;S+ &nbsp; &nbsp;9:31PM &nbsp; 0:00.00 python ipengineapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 53673 &nbsp; 0.0 &nbsp;0.0 &nbsp;2665664 &nbsp; &nbsp;420 s003 &nbsp;S+ &nbsp; &nbsp;9:27PM &nbsp; 0:00.00 python ipengineapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div><div><div><div>petigura 53670 &nbsp; 0.0 &nbsp;0.0 &nbsp;2665664 &nbsp; &nbsp;432 s003 &nbsp;S+ &nbsp; &nbsp;9:27PM &nbsp; 0:00.00 python ipengineapp.py --profile-dir /Users/petigura/.ipython/profile_default --log-to-file --log-level=20</div></div></div></blockquote><div><div><div><br></div><div>Here are some observations:</div><div><br></div></div></div><blockquote class="webkit-indent-blockquote" style="margin: 0 0 0 40px; border: none; padding: 0px;"><div><div>1. 8 instances of ipengineapp.py were started when I started my jobs at 3:30pm. &nbsp;</div></div><div><div>2. Around 9:30pm, 4 of the cores stopped working and 4 new instances of&nbsp;ipengineapp.py were started.</div></div><div><div>3. Now only 4 cores were working. &nbsp;</div></div></blockquote><div><div><br></div><div>What exactly does the heartbeat do? &nbsp;Why would a engine work for many hours before dropping out?</div><div><br></div><div>Thanks,</div><div><br></div><div>Erik</div><div><br></div><div><br></div></div><div><br></div></body></html>