#!/bin/sh
#
# 各台web机器把记录的Cache Key排重后发送给cron机器
#
# 使用示例
# 说明:每天凌晨执行,如果没有加时间参数,默认值为前一天
# ./rsyncCacheKeys_step1.sh [20130529]
# 用法:将此命令加入到crontab, 保证每天只调用一次, 调用时间为每天 00:20
# 20 0 * * * /path/to/rsyncCacheKeys_step1.sh >/path/to/rsyncCacheKeys_step1.log
# 配置信息
SSH_REMOTE_ADDR="10.6.207.220" ;
SSH_REMOTE_USERNAME="kevon" ;
LOCAL_LOG_PATH="/data/web/manyou/logs/cache" ;
REMOTE_LOG_PATH="." ;
SSH_IDENTITY_FILE="./sshkey/identity" ; #表示在该脚本同目录下,在真正执行命令时,此文件必须是绝对路径
# 用当前IP作为远程文件名的前缀
##### IP地址需要在真实环境中进行调整 #####
# MY_IPADDRS=`/sbin/ifconfig |grep "inet addr"|awk '{print $2}'|awk -F: '{print $2}'|grep -v "127.0.0.1"|grep "192.168."` ;
MY_IPADDRS=`/sbin/ifconfig |grep "inet addr"|awk '{print $2}'|awk -F: '{print $2}'|grep -v "127.0.0.1"` ;
MY_IPADDR=`echo $MY_IPADDRS|awk '{print $1}'` ;
LOG_PART=`echo $MY_IPADDR|awk -F. '{print $4}'` ;
# 计算日期
# eg. DATE="20081229"
DATE=`date +%Y%m%d -d "yesterday"` ;
if [ x"$1" != x"" ] ; then
DLEN=`expr length $1` ;
if [ $DLEN -eq 8 ] ; then
true ;
DATE=$1 ;
echo "You want process $DATE log. OK" ;
else
echo "Date format invalid: $1 . Should be like 20081230" ;
exit 1 ;
fi
fi
# 当前目录
CUR_DIR=`dirname $0` ;
CUR_DIR=`readlink -f $CUR_DIR` ;
# 自动生成 identity文件
# eg. IdKey /data/web/.../sshkey/id_rsa.pub
echo "IdKey $CUR_DIR/sshkey/id_rsa" > $CUR_DIR/sshkey/identity 2>&1
# SSH_IDENTITY_FILE 转换为绝对地址
FIRSTCHAR=`echo $SSH_IDENTITY_FILE | cut -c 1` ;
if [ "${FIRSTCHAR}" != "/" ] ; then
SSH_IDENTITY_FILE=$CUR_DIR/$SSH_IDENTITY_FILE ;
SSH_IDENTITY_FILE=`readlink -f $SSH_IDENTITY_FILE` ;
# echo "Rewritten to: $SSH_IDENTITY_FILE" ;
fi
# 传送的文件类型
KEY_TYPES=(update select) ;
#####################
# 检查并合并文件
# KEY_FILES=("$LOCAL_LOG_PATH/update_$DATE.log" "$LOCAL_LOG_PATH/select_$DATE.log") ;
# UNIQ_KEY_FILES=("$LOCAL_LOG_PATH/update_uniq_$DATE.log" "$LOCAL_LOG_PATH/select_uniq_$DATE.log") ;
#####################
for TYPE in ${KEY_TYPES[@]}
do
KEY_FILE="$LOCAL_LOG_PATH/${TYPE}_$DATE.log" ;
UNIQ_KEY_FILE="$LOCAL_LOG_PATH/${TYPE}_uniq_$DATE.log" ;
REMOTE_KEY_FILE="$REMOTE_LOG_PATH/${TYPE}_${DATE}_${LOG_PART}.log";
if [ -e $KEY_FILE ] ; then
cat $KEY_FILE | sort | uniq > $UNIQ_KEY_FILE ;
# 合并后删除原文件
# rm -f $KEY_FILE
# 创建目录省去
# ssh -o StrictHostKeyChecking=no -i $SSH_IDENTITY_FILE $SSH_REMOTE_USERNAME@$SSH_REMOTE_ADDR mkdir -pv $REMOTE_LOG_PATH/ 2>&1
# 开始传送
scp -o StrictHostKeyChecking=no -i $SSH_IDENTITY_FILE $UNIQ_KEY_FILE $SSH_REMOTE_USERNAME@$SSH_REMOTE_ADDR:$REMOTE_KEY_FILE 2>&1
# 验证是否有错误
RCODE=$? ;
if [ x"$RCODE" == x"0" ] ; then
# 传输后删除 SELECT 操作的文件
if [ "select" == $TYPE] ; then
# rm -f $UNIQ_KEY_FILE ;
fi
echo "Ok scp. " ;
else
echo "Error scp: $RCODE ." ;
fi
else
echo "Key File not exist: $KEY_FILE ." ;
fi
done
标签: shell