几行bash分析日志并报警强力蜘蛛
Posted in bash, shell by xdanger on the 08月 25th, 2008
被SB蜘蛛抓烦了，今天早上一看，有2个IP一小时就抓了我80G的页面，还都是动态页面。
首先让 Apache 记的日志最小化，好处不用说了。
SetEnvIfNoCase Request_URI \.gif$ dontlog
SetEnvIfNoCase Request_URI \.jpg$ dontlog
SetEnvIfNoCase Request_URI \.png$ dontlog
SetEnvIfNoCase Request_URI \.swf$ dontlog
SetEnvIfNoCase Request_URI \.css$ dontlog
SetEnvIfNoCase Request_URI \.js$ dontlog
SetEnvIfNoCase Request_URI \.ico$ dontlog
CustomLog "|/usr/local/sbin/cronolog /var/log/httpd/%Y-%m/%d-%H.ip" "%{X-Forwarded-For}i" env=!dontlog
因为我的 Apache 是躲在 n 层代理的后面，所以只能记录 %{X-Forwarded-For}，里面包含真实 IP，但是需要下一步分析去取出。
cd /var/log/httpd
f=`date -d '1 hours ago' +%Y-%m/%d-%H.ip`
ip=`cat $f | sed 's#^\([0-9\.]\{1,\}\)[0-9 \.,\s]\{1,\}#\1#' | awk '{a[$1]++ } END{for(i in a){print a[i] " " i}}' | sort -rn | head`
curl -u 机器人的饭否登录名:密码 -d status="$ip" http://api.fanfou.com/statuses/update.xml
rm $f
测试下来一小时 10M 的 log，分析一下也就 3 秒左右，还有1秒是发送给饭否的报警的。如果记录的直接就是真实 IP，那可以去掉 sed 那段，分析应该还会快很多（log文件就小很多了）。
看到有夸张的，不是常规搜索引擎蜘蛛的话，就咔嚓掉。
iptables -A INPUT -s xxx.xxx.xxx.xxx/29 -j DROP
1 202.106.186.* 163蜘蛛
2 202.108.36.* 163蜘蛛
3 202.108.44.* 163蜘蛛
4 202.108.45.* 163蜘蛛
5 202.108.5.* 163蜘蛛
6 202.108.9.* 163蜘蛛
7 220.181.12.* 163蜘蛛
8 220.181.13.* 163蜘蛛
9 220.181.14.* 163蜘蛛
10 220.181.15.* 163蜘蛛
11 220.181.28.* 163蜘蛛
12 220.181.31.* 163蜘蛛
13 222.185.245.* 163蜘蛛
14 202.165.100.* 3721蜘蛛
15 220.181.19.* 百度蜘蛛
16 159.226.50.* 百度蜘蛛
17 202.108.11.* 百度蜘蛛
18 202.108.22.* 百度蜘蛛
19 202.108.23.* 百度蜘蛛
20 202.108.249.* 百度蜘蛛
21 202.108.250.* 百度蜘蛛
22 61.135.145.* 百度蜘蛛
23 61.135.146.* 百度蜘蛛
24 64.124.85.* become.com
25 61.151.243.* china蜘蛛
26 202.165.96.* gais.cs.ccu.edu.tw
27 216.239.33.* google蜘蛛
28 216.239.35.* google蜘蛛
29 216.239.37.* google蜘蛛
30 216.239.39.* google蜘蛛
31 216.239.51.* google蜘蛛
32 216.239.53.* google蜘蛛
33 216.239.55.* google蜘蛛
34 216.239.57.* google蜘蛛
35 216.239.59.* google蜘蛛
36 64.233.161.* google蜘蛛
37 64.233.189.* google蜘蛛
38 66.102.11.* google蜘蛛
39 66.102.7.* google蜘蛛
40 66.102.9.* google蜘蛛
41 66.249.64.* google蜘蛛
42 66.249.65.* google蜘蛛
43 66.249.66.* google蜘蛛
44 66.249.71.* google蜘蛛
45 66.249.72.* google蜘蛛
46 72.14.207.* google蜘蛛
47 61.135.152.* iask蜘蛛
48 65.54.188.* msn蜘蛛
49 65.54.225.* msn蜘蛛
50 65.54.226.* msn蜘蛛
51 65.54.228.* msn蜘蛛
52 65.54.229.* msn蜘蛛
53 207.46.98.* msn蜘蛛
54 207.68.157.* msn蜘蛛
55 194.224.199.* noxtrumbot
56 220.181.8.* Outfox
57 221.239.209.* Outfox
58 217.212.224.* psbot
59 219.133.40.* QQ蜘蛛
60 202.96.170.* QQ蜘蛛
61 202.104.129.* QQ蜘蛛
62 61.135.157.* QQ蜘蛛
63 219.142.118.* sina蜘蛛
64 219.142.78.* sina蜘蛛
65 61.135.132.* sohu蜘蛛
66 220.181.26.* sohu蜘蛛
220.181.19.*
67 61.135.158.* tom蜘蛛
68 66.196.90.* yahoo蜘蛛
69 66.196.91.* yahoo蜘蛛
70 68.142.249.* yahoo蜘蛛
71 68.142.250.* yahoo蜘蛛
72 68.142.251.* yahoo蜘蛛
73 202.165.102.* yahoo中国蜘蛛
74 202.160.178.* yahoo中国蜘蛛
75 202.160.179.* yahoo中国蜘蛛
76 202.160.180.* yahoo中国蜘蛛
77 202.160.181.* yahoo中国蜘蛛
78 202.160.183.* yahoo中国蜘蛛
79 72.30.101.* yahoo蜘蛛
80 72.30.102.* yahoo蜘蛛
81 72.30.103.* yahoo蜘蛛
82 72.30.104.* yahoo蜘蛛
83 72.30.107.* yahoo蜘蛛
84 72.30.110.* yahoo蜘蛛
85 72.30.111.* yahoo蜘蛛
86 72.30.128.* yahoo蜘蛛
87 72.30.129.* yahoo蜘蛛
88 72.30.131.* yahoo蜘蛛
89 72.30.133.* yahoo蜘蛛
90 72.30.134.* yahoo蜘蛛
91 72.30.135.* yahoo蜘蛛
92 72.30.216.* yahoo蜘蛛
93 72.30.226.* yahoo蜘蛛
94 72.30.252.* yahoo蜘蛛
95 72.30.97.* yahoo蜘蛛
96 72.30.98.* yahoo蜘蛛
97 72.30.99.* yahoo蜘蛛
98 74.6.74.* yahoo蜘蛛
99 202.108.4.* 中搜蜘蛛
100 202.108.4.* 中搜蜘蛛
101 202.108.33.* 中搜蜘蛛
102 202.96.51.* 中搜蜘蛛
103 219.142.53.* 中搜蜘蛛
» Filed Under bash, shell | Leave a Comment
mplayer mac osx 更新 svn-27466
Posted in MacosX, mplayer by Kafeifei on the 08月 16th, 2008
http://www.nimab.org/mplayerosx
» Filed Under MacosX, mplayer | Leave a Comment
mplayer mac osx 更新 svn-27266
Posted in MacosX, mplayer by Kafeifei on the 07月 12th, 2008
http://www.nimab.org/mplayerosx
» Filed Under MacosX, mplayer | Leave a Comment
分阶段的人生
Posted in Uncategorized by xdanger on the 07月 2nd, 2008
有一天,神创造了一头牛. 神对牛说:「你要整天在田里替农夫耕田,供应牛奶给人类饮用. 你要工作直至日落，而你只能吃草.我给你50年的寿命.」
牛抗议:「我这么辛苦，还只能吃草，我只要20年寿命，余下的还给你.」神答应了.
第二天,神创造了猴子. 神跟猴子说:「你要娱乐人类,令他们欢笑你要表演翻跟斗 ,而你只能吃香蕉.我给你20年的寿命.」
猴子抗议:「要引人发笑,表演杂技,还要翻跟斗,这么辛苦,我活10年好了.」 神答应.
第三天,神创造了狗. 神对狗说:「你要站在门口吠.你吃主人吃剩的东西.我给你25年的寿命.」
狗抗议:「整天坐在门口吠,我要15年好了,余下的还给你.」 神答应.
第四天,神创造了人.神对人说:「你只需要睡觉,吃东西和玩耍,不用做什么辛苦的事,只需要尽情享受生命,我 给你20年的寿命.」
人抗议:「这么好的生活只有20年」神没说话.
人对神说「这样吧.牛还了30年给你，猴子还了10年，狗也还了10年，这些都给我好了，那我就能活到70岁.」神答应了.
这就是为甚么,我们的头20年,只需吃饭.睡觉和玩耍.
之后的30年,我们像一条牛整天工作养家，.
接著的10年,我们退休了,我们得像只猴子表演杂耍来娱乐自己的孙儿，
最后的10年，整天留在家里，像一条狗坐在门口旁边看……
» Filed Under Uncategorized | 3 Comments
mplayer-macosx 更新
Posted in Uncategorized by Kafeifei on the 06月 7th, 2008
http://www.nimab.org/mplayerosx [27002]
» Filed Under Uncategorized | Leave a Comment
NTFS for Mac® OS X 6.5
Posted in MacosX by Kafeifei on the 05月 31st, 2008
终于可以不用忍受ntfs-3g那蜗牛速度了，特别是写入速度！
相比6.0版，没有了打开大文件错误和特定情况下的传输速度问题。
http://www.paragon-software.com/home/ntfs-mac/download.html
Preference pane is added;
Preference pane allows enabling/disabling POSIX permissions on an NTFS volume;
Preference pane allows turning off/on Paragon NTFS for Linux driver;
Preference pane allows disabling/enabling NTFS file/folder compression;
Preferences pane allows disabling/enabling Last Access Time attribute update;
Improved performance;
Improved driver stability.
» Filed Under MacosX | Leave a Comment
mplayer-mscosx更新
Posted in MacosX, mplayer by Kafeifei on the 05月 25th, 2008
http://www.nimab.org/mplayerosx [26863]
» Filed Under MacosX, mplayer | Leave a Comment
只不过想听听音乐。。。。。zt
Posted in 8diagrams by Kafeifei on the 05月 18th, 2008
转自：http://blog.sina.com.cn/s/reader_4abce54e010008li.html
本EG完全虚构，如有雷同实属无奈～～～～
第一幕：入门
新人A：请问，200以下买什么耳机好？
（叮咚！新人A转职为菜鸟A）
闲人A：这个价格真的很尴尬啊……200以下值得买的也就是MX500了。
菜鸟A：那不是耳塞吗？我想买耳机。
闲人A：这样啊……那你多加点钱买PX100吧，300不到，很平衡的。
（菜鸟A心想：平衡是什么意思？）
闲人B：哎呀，PX100这么没个性的耳机有什么好的？买K66吧，300出头，声场一流！
（菜鸟A心想：声场是什么东东？）
闲人C：kao！K66这种没有下半身的耳机有什么意思？听我的，DT231，500以下无敌！
（菜鸟A心想：没有下半身？）
闲人A：唉，一帮菜鸟……
闲人B：×你大爷！^￥％^￥^￥……
闲人C：你丫^％^#￥％￥#……
菜鸟A：各位大侠……我一会儿再来……
第二幕：进阶
菜鸟A：各位大侠，我在论坛潜了一段时间的水，觉得K66可能适合我。请各位大侠再给点建议吧。
（叮咚！菜鸟A转职为烧友A）
侠客A：K66？这种低端就不用烧了吧，直接上好的不就得了？说说看，喜欢K66的哪一点？
烧友A：大家都说它人声好……
侠客A：喜欢人声啊，那就上A500好了。
侠客B：切，小日本那种BT音染也拿来说事，你知不知道什么叫HI-FI啊？
侠客A：……可是A500的人声是好啊……
（叮咚！侠客A转职为闲人A）
侠客B：你上DT531吧，音染少，人声虽然单薄但是特真实。其实薄也薄不到哪里去，你听蔡琴，一点都不薄。
烧友A：可是我喜欢王菲……DT531多少钱？
侠客B：停产了。
烧友A：啊？
侠客B：你不知道，停产的都是好东西！我认识一个老板，他那儿有工包……
（叮咚！侠客B转职为枪手B）
烧友A心想：好险！
侠客C：这帮烂人！没把你吓着吧。其实啊，我还是推荐M1，1000以下best buy。你看看指标就知道了，和1000以上的耳机比起来毫不逊色呢。
烧友A：是啊，很多人都说过它不错……哎？我的预算只有300……
侠客C：呵呵，相信你过不多久就会厌倦K66的。一步到位多好，省钱啊。牛人A，你说是不是？
牛人A：……
烧友A：……好吧！老板～～～～
老板旁白：凯子上钩了，hoho～
侠客C：恭喜！以后就不用操心耳机了，安心地欣赏音乐吧……（烧友A下场）才怪！
第三幕： 烧
烧友A：各位大侠，我这个M1的声音不行啊！
侠客D：好耳机都是要煲的。今天你煲了没有？
烧友A：当我第一天出来混的？煲了半年了！
（叮咚！烧友A转职为侠客A）
（叮咚！侠客D转职为闲人D）
牛人A：你用的是什么音源？
侠客A：随身听。
牛人A：难怪了。M1虽然可以用在随身听上，但是要发挥它真正的实力，还是得上耳放。
侠客A：耳放？哇呀呀～～～又是一大笔钱！怎么没人告诉我这事啊？
牛人A：你也没问呀，嘿嘿。
侠客A：……买耳放去！老板～～～～
老板旁白：耳机凯子就是好，削过一次还能接着削，hoho～
侠客A：上了耳放的M1确实好多了，可我怎么还觉得不满意啊？
牛人B：你听什么比较多？
侠客A：我喜欢王菲。
牛人B：用M1听王菲？亏你想得出来！听王菲的话，同价位的K501比M1好多了！
侠客A：啊？（一咬牙）老板～～～～
老板旁白：谁说一步到位来着？hoho～
侠客A：谁跟我说K501好来着？我一点感觉都没有！K501真烂！
牛人B：Stop!你侮辱我可以，但是你侮辱K501就不行！这是设计师智慧的结晶！……不，也不许你侮辱我！K501不是那么好伺候的，得配专门的耳放才可以。
侠客A：我……算了。老板～～～～
老板旁白：牛人啊，托您说话说半截的福，hoho～
侠客A：换过耳放，终于知道K501的好了。可是，怎么感觉还差那么一点呢？
牛人C：不会吧，这么好的耳机用随身听做音源，连台机都没用？就算是国外捡来的洋垃圾台机修修再用，也比随身听强啊。
侠客A：老板～～～～
牛人D：信号线也很重要的，随机配的那都是垃圾线！
侠客A：老板～～～～
牛人E：电源线也很重要！没有稳定的电源，怎么会有稳定的声音？
侠客A：老板～～～～
牛人F：光换线没用，电源还要滤波！你家接的市电没经过HIFI优化吧？
侠客A：老板～～～～
老板旁白：多好的凯子啊！hoho～
（叮咚！侠客A转职为牛人A）
闲人A：恭喜大侠！
闲人B：大侠的装备好多哦，偶好崇拜你～～～～
闲人C：大侠～～～～俺想跟你的大牛装备合影，可以吗？
牛人A心想：我本来想干嘛来着？
第四幕：轮回
侠客C：这帮烂人！没把你吓着吧。其实啊，我还是推荐M1，1000以下best buy。你看看指标就知道了，和1000以上的耳机比起来毫不逊色呢。
烧友B：是啊，很多人都说过它不错……哎？我的预算只有300……
侠客C：呵呵，相信你过不多久就会厌倦K66的。一步到位多好，省钱啊。牛人A，你说是不是？
牛人A：……
新人B：请问，KK现在多少钱？
牛人A：我先问问你的音源是什么，不会是随身听吧？用随身听玩KK，那是不行地，是对设计师的不尊重……
（牛人A心想：话是这么说的没错吧？）
新人B：不要以为老子是新来的就好欺负，家里台机功放老早就配齐了，今天就是想找个KK玩玩！怎么，没见过又有品位又有钱的人啊？
牛人A：……
（叮咚！牛人A转职为侠客A）
新人C：咱手里这个K240S咋就这么不中听捏？
侠客A：呵呵，耳机都是要煲的嘛。今天你煲了没有？
（侠客A心想：大家都这么说，应该没错吧？）
新人C：大哥，不瞒你说，咱虽然是新人，可是在论坛潜水也不是一天两天了，煲耳机这事咱还是知道地！
侠客A：……
（叮咚！侠客A转职为闲人A）
新人D：各位大侠，请给小女子推荐一款300以下的耳机吧！
闲人A：PX100吧，很平衡
（闲人A心想：平衡是什么意思？我在说什么？）
闲人B：哎呀，PX100这么没个性的耳机有什么好的？买K66吧，300出头，声场一流！
闲人C：靠！K66这种没有下半身的耳机有什么意思？听我的，DT231，500以下无敌！
闲人A：唉，一帮菜鸟……
闲人B：×你大爷！^￥％^￥^￥
闲人C：你丫^％^#￥％￥#
……
剧终
谢谢观赏～～～～
» Filed Under 8diagrams | 3 Comments
wp post 时500错误重要更新
Posted in php by Kafeifei on the 05月 10th, 2008
应该有些人用了我修改过的db.php文件，发现一bug，请尽快更新。
详情链接：http://www.nimab.org/2008/05/01/39.html
» Filed Under php | Leave a Comment
用Mplayer播放高清电影(蓝光原盘)
Posted in Linux, MacosX, mplayer by Kafeifei on the 05月 10th, 2008
前提还是你的cpu必须强劲，默认情况下mplayer是单线程的，所以显得力不从心，如果你的cpu是双核或支持超线程，那么试试加上一下参数：
-lavdopts threads=8
或者，来自这里：http://ubuntuforums.org/showthread.php?t=629701
-vfm ffmpeg -lavdopts lowres=2:fast:skiploopfilter=all:threads=8
---------
蓝光原盘抓出来的文件一般以 .ts 结尾 h264 标准
------- update ------
mac下，mplayer的性能明显差很多，经过大量测试，发现问题主要在音频驱动上，我的配置：
−vf scale=-2 -lavdopts lowres=1,1400:fast:skiploopfilter=all:threads=8 -ao openal -vo macosx
播放《汽车总动员》时勉强不卡！或许因为ntfs-3g的性能不佳吧，另外lowres这个配置未生效。
−vf scale=-2 可以修正字幕被拉扁的问题（视频质量未见异常）。
» Filed Under Linux, MacosX, mplayer | Leave a Comment