qconf -ap def_slot
// slot 999に変更

#qconf -aq debug.q
qconf -aattr queue pe_list def_slot all.q
#qconf -aattr queue pe_list def_slot debug.q

まず、グリッドエンジンでのcomplex attributeにmem_reqを追加するために、下記のように行う。

qconf -mc

で次の行を追加する。

mem_req             mem_req    MEMORY      <=    YES         YES        1G      0

それから各ノードで

qconf -rattr exechost complex_values mem_req=128G m128

とやってメモリー量を設定する。

qsubを投げるときに、

qsub -l mem_req=30G -q all.q@m128

などとやると、最大でも4ジョブまでしかm128には入らない。ただし、メモリーを30GB以上使ったとしてもジョブをkillすることはしない。もし必要であれば、h_vmem当たりを使うとよさそう。

ここで指定するmemreqは1コア当たりのメモリ量なので、defslotを使って複数スロットを使う場合は、memreq x defslot分のメモリーを予約するので注意。

仮にmem_reqを指定しない場合は、qconf -mcで設定した1Gが消費される。

ps aux -L | egrep -w "R.|D." | grep -v grep |grep -v "ps aux"

qmod -r job_id

例
qalter -r yes job_id

qstat -f -explain E

次のコマンドでエラーを消せる（が、ジョブを投げると再びエラーに・・・）

qmod -c '*'

原因はよくわからないけど、sge_execdをkillして、/etc/init.d/sgeexecd.p6444 startでリスタートかけると上手くジョブが流れるようになった。

ディスク不足などでエラーとなった場合

$ qstat -f
queuename                      qtype resv/used/tot. load_avg arch          states
---------------------------------------------------------------------------------
all.q@m50v251n1                BIP   0/0/16         0.01     lx-amd64      E
---------------------------------------------------------------------------------
all.q@m50v251n2                BIP   0/0/16         0.04     lx-amd64      E
---------------------------------------------------------------------------------
all.q@m50v251n3.s              BIP   0/0/16         0.01     lx-amd64      E

sudo su -
source /opt/sge/default/common/settings.sh
qmod -c all.q@m50v251n1

とやるとエラーが消えて復旧。

qconf -msconf

で、

schedd_job_info true

にする。

qhost -Fして、hc:mem_req=0.000などとなっていないか見る。

それでも、qsubの時に-l mem_req=0Gをつけると一応流れるようにはなる。つけないとデフォルトのmem_req=1Gが設定されるため流れない。

qconf -am yoshitake

qconf -mconf global

SGEを再起動。ただし、再起動時に動作しているジョブは全部失敗する見たい。

for i in `qhost|tail -n+4|cut -f 1 -d " "`; do echo $i; ssh $i sudo systemctl restart sgeexecd & done; wait