亀レスです。
> いや、カウンタスクリプトだったら抑止してしまって問題ないと思いますよ。
> というか、カウンタが検索上位に出てどうする、という気もする。
カウンタスクリプトってカウンタCGIのことですか。うちの場合はコンテンツなので。(^^;
> CMTって、まだ使っている人いるのかな。UAとかで判別できるのかな。
> もっとも、konnoさんのところでUAを記録していなければそこで終わりだけど。
UAで判別できるかわかりませんが、過去ログにコメントするのはツール使用の証拠かと。
おかげで生ログ構造が崩れて大迷惑なので、やっぱりCMT廃止の方向で。
> なので、情報収集ロボットを完全遮断すると、検索サイトの結果には全く出てこなく
> なります。
それは困るのでやっぱり様子見ですね。(^^;
> あと、既知のクローラーは通すけど未知のクローラーは遮断、とか、方法は様々。
これはいい案が浮かばないので今後の課題ですかね。(^^;
> > 20ギガのDLOGは 80816行ありました。
> ギガではなくメガですよね。
ギガ恥ずかしす！ (/□＼*)・゜
> 一番長い行の長さはどれくらい、なんてのがわかると、どこがボトルネックだったか、
> というようなことから始まって、芋蔓式にいろんなことがわかる、かもしれない。
これこれ！ 確か nagasa.def が遅いので自前でマクロ作ったよなぁ、と探したのですが見つからない。(>_<)
うちの過去ログはもちろん、野ざらし言の過去ログもじっくり読んで探したんですが。（おぃ）
そういえばこの時期使っていたPCの SSDが壊れて見れなくなっていたなぁ。その中か！(;_;)
しかたないので nagasa.defでいくつかやってみましたが、1行333bytes くらいでした。
これでは何もわかりませんね。