wangzheng, tech star

openshift 4.2 静态IP离线 baremetal 安装，包含operator hub

2019-11-06T22:13:00.001+08:00

原文链接： https://github.com/wangzheng422/docker_env/blob/master/redhat/ocp4/4.2.disconnect.operator.md

本文描述ocp4.2在baremental(kvm模拟)上面，静态ip安装的方法。包括operator hub步骤。

以下是本次使用的虚拟机配置： https://docs.google.com/spreadsheets/d/1dwgh72r4ZfxEIFV82e_qe0T4w3CpENG_HqSejB3IUQs/edit#gid=0

本次实验的简要说明： https://docs.google.com/presentation/d/1_iy_YWnr6YX1tkwhw46ttCMkEoyPcHXvZvGQBDqJMyI/edit

以下是参考材料

https://blog.openshift.com/openshift-4-2-disconnected-install/

https://blog.openshift.com/openshift-4-bare-metal-install-quickstart/

https://github.com/christianh814/ocp4-upi-helpernode#ocp4-upi-helper-node-playbook

https://github.com/openshift/cluster-samples-operator/blob/master/manifests/image-references

https://github.com/e-minguez/ocp4-upi-bm-pxeless-staticips/blob/master/docs/12-post-installation.md

离线安装包下载

ocp4.2的离线安装包下载和3.11不太一样，按照如下方式准备。另外，由于默认的baremental是需要dhcp, pxe环境的，那么需要准备一个工具机，上面有dhcp, tftp, haproxy等工具，另外如果要用static ip方式安装，还需要ignition文件的修改工具，所以离线安装包需要一些其他第三方的工具。

https://github.com/wangzheng422/ocp4-upi-helpernode 这个工具，是创建工具机用的。

https://github.com/wangzheng422/filetranspiler 这个工具，是修改ignition文件用的。

打包好的安装包，在这里下载： https://drive.google.com/drive/u/2/folders/1uiw5sctkCYM-QdVYcZ7QQbQya84xS_NF

工具机需要rhel 7.6的iso和升级源，这个可以参考以下链接来准备： https://github.com/wangzheng422/docker_env/blob/master/redhat/aws/README.md

打包好的下载位置： https://drive.google.com/drive/u/1/folders/1RxSOtiKOufhkbZeI8ran1BTBHkmyiTzy

在外网云主机上面准备离线安装源

# on vultr
yum -y install podman docker-distribution pigz

cat << EOF >>  /etc/hosts
127.0.0.1 vm.redhat.ren
127.0.0.1 registry.redhat.ren
EOF

mkdir /etc/crts/ && cd /etc/crts
openssl req \
   -newkey rsa:2048 -nodes -keyout redhat.ren.key \
   -x509 -days 3650 -out redhat.ren.crt -subj \
   "/C=CN/ST=GD/L=SZ/O=Global Security/OU=IT Department/CN=*.redhat.ren"

cp /etc/crts/redhat.ren.crt /etc/pki/ca-trust/source/anchors/
update-ca-trust extract

mkdir -p /data/registry
cat << EOF > /etc/docker-distribution/registry/config.yml
version: 0.1
log:
  fields:
    service: registry
storage:
    cache:
        layerinfo: inmemory
    filesystem:
        rootdirectory: /data/registry
http:
    addr: :443
    tls:
       certificate: /etc/crts/redhat.ren.crt
       key: /etc/crts/redhat.ren.key
EOF
# systemctl restart docker
systemctl enable docker-distribution

systemctl restart docker-distribution

podman login registry.redhat.ren -u a -p a

mkdir -p /data/ocp4
cd /data/ocp4

export BUILDNUMBER=$(curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/latest-4.2/release.txt | grep 'Name:' | awk '{print $NF}')
echo ${BUILDNUMBER}

wget https://mirror.openshift.com/pub/openshift-v4/clients/ocp/latest-4.2/openshift-client-linux-${BUILDNUMBER}.tar.gz
wget https://mirror.openshift.com/pub/openshift-v4/clients/ocp/latest-4.2/openshift-install-linux-${BUILDNUMBER}.tar.gz

tar -xzf openshift-client-linux-${BUILDNUMBER}.tar.gz -C /usr/local/bin/
tar -xzf openshift-install-linux-${BUILDNUMBER}.tar.gz -C /usr/local/bin/

wget --recursive --no-directories --no-parent https://mirror.openshift.com/pub/openshift-v4/dependencies/rhcos/4.2/latest/

wget -O ocp4-upi-helpernode-master.zip https://github.com/wangzheng422/ocp4-upi-helpernode/archive/master.zip

wget -O filetranspiler-master.zip https://github.com/wangzheng422/filetranspiler/archive/master.zip

podman pull registry.fedoraproject.org/fedora:latest
podman save registry.fedoraproject.org/fedora:latest | pigz -c > fedora.tgz

export OCP_RELEASE=${BUILDNUMBER}
export LOCAL_REG='registry.redhat.ren'
export LOCAL_REPO='ocp4/openshift4'
export UPSTREAM_REPO='openshift-release-dev'
export LOCAL_SECRET_JSON="pull-secret.json"
export OPENSHIFT_INSTALL_RELEASE_IMAGE_OVERRIDE=${LOCAL_REG}/${LOCAL_REPO}:${OCP_RELEASE}
export RELEASE_NAME="ocp-release"

# to download the pull-secret.json, open following link
# https://cloud.redhat.com/openshift/install/metal/user-provisioned
vi pull-secret.json

oc adm release mirror -a ${LOCAL_SECRET_JSON} \
--from=quay.io/${UPSTREAM_REPO}/${RELEASE_NAME}:${OCP_RELEASE} \
--to-release-image=${LOCAL_REG}/${LOCAL_REPO}:${OCP_RELEASE} \
--to=${LOCAL_REG}/${LOCAL_REPO}


cd /data/ocp4
# download additinal images
# scp files/4.2/docker_image/* and files/4.2/operator_images/*

yum -y install jq python3-pip pigz
pip3 install yq

podman login -u ****** -p ******** registry.redhat.io
podman login -u ****** -p ******** registry.access.redhat.com

# 以下命令要运行 2-3个小时，喝杯咖啡，耐心等待。。。
bash operator.sh

bash operator.build.image.sh

# yum -y install docker skopeo
# systemctl restart docker
yum -y install skopeo

# docker login -u ****** -p ******** registry.redhat.io
# # docker login -u ****** -p ******** registry.access.redhat.com
# docker login -u ****** -p ******** registry.connect.redhat.com
# docker login -u ****** -p ******** docker.io

# 这一步也会运行很久，视网速而定，2-3个小时是要的。
bash image.mirror.sh

cd /data
tar cf - ocp4/ | pigz -c > ocp4.tgz 
tar cf - registry/ | pigz -c > registry.tgz

output of mirror of images

Success
Update image:  registry.redhat.ren/ocp4/openshift4:4.2.0
Mirror prefix: registry.redhat.ren/ocp4/openshift4

To use the new mirrored repository to install, add the following section to the install-config.yaml:

imageContentSources:
- mirrors:
  - registry.redhat.ren/ocp4/openshift4
  source: quay.io/openshift-release-dev/ocp-release
- mirrors:
  - registry.redhat.ren/ocp4/openshift4
  source: quay.io/openshift-release-dev/ocp-v4.0-art-dev


To use the new mirrored repository for upgrades, use the following to create an ImageContentSourcePolicy:

apiVersion: operator.openshift.io/v1alpha1
kind: ImageContentSourcePolicy
metadata:
  name: example
spec:
  repositoryDigestMirrors:
  - mirrors:
    - registry.redhat.ren/ocp4/openshift4
    source: quay.io/openshift-release-dev/ocp-release
  - mirrors:
    - registry.redhat.ren/ocp4/openshift4
    source: quay.io/openshift-release-dev/ocp-v4.0-art-dev

宿主机准备

本次实验，是在一个32C， 256G 的主机上面，用很多个虚拟机安装测试。所以先准备这个宿主机。

hostnamectl set-hostname base.redhat.ren

cat << EOF >>  /etc/hosts
172.29.122.232 yum.redhat.ren
EOF

# 准备yum更新源
mkdir /etc/yum.repos.d.bak
mv /etc/yum.repos.d/* /etc/yum.repos.d.bak
cat << EOF > /etc/yum.repos.d/remote.repo
[remote]
name=RHEL FTP
baseurl=ftp://yum.redhat.ren/data
enabled=1
gpgcheck=0

EOF

yum clean all
yum repolist

yum -y install byobu htop 

# 配置dns服务
yum -y install dnsmasq

cat  > /etc/dnsmasq.d/openshift-cluster.conf << EOF
local=/redhat.ren/
address=/yum.redhat.ren/172.29.122.233
address=/vm.redhat.ren/192.168.7.1
address=/registry.redhat.ren/192.168.7.1
EOF

systemctl restart dnsmasq.service && systemctl enable dnsmasq.service && systemctl status dnsmasq.service

firewall-cmd --permanent --add-service=dns
firewall-cmd --reload

systemctl restart dnsmasq

# on kvm host
# cat << EOF >>  /etc/hosts
# 127.0.0.1 vm.redhat.ren
# EOF

# 配置registry
mkdir /etc/crts/ && cd /etc/crts
openssl req \
   -newkey rsa:2048 -nodes -keyout redhat.ren.key \
   -x509 -days 3650 -out redhat.ren.crt -subj \
   "/C=CN/ST=GD/L=SZ/O=Global Security/OU=IT Department/CN=*.redhat.ren"

cp /etc/crts/redhat.ren.crt /etc/pki/ca-trust/source/anchors/
update-ca-trust extract

cd /data
# tar zxf registry.tgz
yum -y install pigz
pigz -dc registry.tgz | tar xf -
cat << EOF > /etc/docker-distribution/registry/config.yml
version: 0.1
log:
  fields:
    service: registry
storage:
    cache:
        layerinfo: inmemory
    filesystem:
        rootdirectory: /data/registry
    delete:
        enabled: true
http:
    addr: :443
    tls:
       certificate: /etc/crts/redhat.ren.crt
       key: /etc/crts/redhat.ren.key
EOF
# systemctl restart docker
systemctl enable docker-distribution
systemctl restart docker-distribution
# podman login vm.redhat.ren -u a -p a

firewall-cmd --permanent --add-service=https
firewall-cmd --reload

cat /etc/crts/redhat.ren.crt

# https://github.com/christianh814/ocp4-upi-helpernode/blob/master/docs/quickstart.md

# 准备vnc环境

yum -y install tigervnc-server tigervnc gnome-terminal gnome-session gnome-classic-session gnome-terminal nautilus-open-terminal control-center liberation-mono-fonts google-noto-sans-cjk-fonts google-noto-sans-fonts fonts-tweak-tool

yum install -y    qgnomeplatform   xdg-desktop-portal-gtk   NetworkManager-libreswan-gnome   PackageKit-command-not-found   PackageKit-gtk3-module   abrt-desktop   at-spi2-atk   at-spi2-core   avahi   baobab   caribou   caribou-gtk2-module   caribou-gtk3-module   cheese   compat-cheese314   control-center   dconf   empathy   eog   evince   evince-nautilus   file-roller   file-roller-nautilus   firewall-config   firstboot   fprintd-pam   gdm   gedit   glib-networking   gnome-bluetooth   gnome-boxes   gnome-calculator   gnome-classic-session   gnome-clocks   gnome-color-manager   gnome-contacts   gnome-dictionary   gnome-disk-utility   gnome-font-viewer   gnome-getting-started-docs   gnome-icon-theme   gnome-icon-theme-extras   gnome-icon-theme-symbolic   gnome-initial-setup   gnome-packagekit   gnome-packagekit-updater   gnome-screenshot   gnome-session   gnome-session-xsession   gnome-settings-daemon   gnome-shell   gnome-software   gnome-system-log   gnome-system-monitor   gnome-terminal   gnome-terminal-nautilus   gnome-themes-standard   gnome-tweak-tool   nm-connection-editor   orca   redhat-access-gui   sane-backends-drivers-scanners   seahorse   setroubleshoot   sushi   totem   totem-nautilus   vinagre   vino   xdg-user-dirs-gtk   yelp

yum install -y    cjkuni-uming-fonts   dejavu-sans-fonts   dejavu-sans-mono-fonts   dejavu-serif-fonts   gnu-free-mono-fonts   gnu-free-sans-fonts   gnu-free-serif-fonts   google-crosextra-caladea-fonts   google-crosextra-carlito-fonts   google-noto-emoji-fonts   jomolhari-fonts   khmeros-base-fonts   liberation-mono-fonts   liberation-sans-fonts   liberation-serif-fonts   lklug-fonts   lohit-assamese-fonts   lohit-bengali-fonts   lohit-devanagari-fonts   lohit-gujarati-fonts   lohit-kannada-fonts   lohit-malayalam-fonts   lohit-marathi-fonts   lohit-nepali-fonts   lohit-oriya-fonts   lohit-punjabi-fonts   lohit-tamil-fonts   lohit-telugu-fonts   madan-fonts   nhn-nanum-gothic-fonts   open-sans-fonts   overpass-fonts   paktype-naskh-basic-fonts   paratype-pt-sans-fonts   sil-abyssinica-fonts   sil-nuosu-fonts   sil-padauk-fonts   smc-meera-fonts   stix-fonts   thai-scalable-waree-fonts   ucs-miscfixed-fonts   vlgothic-fonts   wqy-microhei-fonts   wqy-zenhei-fonts

vncpasswd

cat << EOF > ~/.vnc/xstartup
#!/bin/sh
unset SESSION_MANAGER
unset DBUS_SESSION_BUS_ADDRESS
gnome-session &
EOF
chmod +x ~/.vnc/xstartup

vncserver :1 -geometry 1280x800
# 如果你想停掉vnc server，这么做
vncserver -kill :1

firewall-cmd --permanent --add-port=6001/tcp
firewall-cmd --permanent --add-port=5901/tcp
firewall-cmd --reload

# connect vnc at port 5901
# export DISPLAY=:1

# https://www.cyberciti.biz/faq/how-to-install-kvm-on-centos-7-rhel-7-headless-server/

# 配置kvm环境
yum -y install qemu-kvm libvirt libvirt-python libguestfs-tools virt-install virt-viewer virt-manager

systemctl enable libvirtd
systemctl start libvirtd

lsmod | grep -i kvm
brctl show
virsh net-list
virsh net-dumpxml default

# 创建实验用虚拟网络

cat << EOF >>  /data/virt-net.xml
<network>
  <name>openshift4</name>
  <forward mode='nat'>
    <nat>
      <port start='1024' end='65535'/>
    </nat>
  </forward>
  <bridge name='openshift4' stp='on' delay='0'/>
  <domain name='openshift4'/>
  <ip address='192.168.7.1' netmask='255.255.255.0'>
  </ip>
</network>
EOF

virsh net-define --file virt-net.xml
virsh net-autostart openshift4
virsh net-start openshift4

# 创建工具机

mkdir -p /data/kvm

virt-install --name="ocp4-aHelper" --vcpus=2 --ram=4096 \
--disk path=/data/kvm/ocp4-aHelper.qcow2,bus=virtio,size=230 \
--os-variant centos7.0 --network network=openshift4,model=virtio \
--boot menu=on --location /data/rhel-server-7.6-x86_64-dvd.iso \
--initrd-inject helper-ks.cfg --extra-args "inst.ks=file:/helper-ks.cfg" --noautoconsole

virt-viewer --domain-name ocp4-aHelper
virsh start ocp4-aHelper
virsh list --all

工具机准备

以下是在工具机里面，进行的安装操作。

# in helper node
mkdir /etc/yum.repos.d.bak
mv /etc/yum.repos.d/* /etc/yum.repos.d.bak/
cat << EOF > /etc/yum.repos.d/remote.repo
[remote]
name=RHEL FTP
baseurl=ftp://yum.redhat.ren/data
enabled=1
gpgcheck=0

EOF

yum clean all
yum repolist

yum -y install ansible git unzip podman
# change to my fork https://github.com/wangzheng422/ocp4-upi-helpernode
# change to my fork https://github.com/wangzheng422/filetranspiler
# scp ocp4.tgz to /root
cd /root
tar zvxf ocp4.tgz
cd /root/ocp4
unzip ocp4-upi-helpernode-master.zip
podman load -i fedora.tgz
# 根据现场环境，修改 ocp4-upi-helpernode-master/vars-static.yaml
cd ocp4-upi-helpernode-master
ansible-playbook -e @vars-static.yaml -e staticips=true tasks/main.yml

# try this:
/usr/local/bin/helpernodecheck

# 定制ignition

# on helper node
export BUILDNUMBER=4.2.0
export OCP_RELEASE=${BUILDNUMBER}
export LOCAL_REG='registry.redhat.ren'
export LOCAL_REPO='ocp4/openshift4'
export UPSTREAM_REPO='openshift-release-dev'
export LOCAL_SECRET_JSON="pull-secret.json"
export OPENSHIFT_INSTALL_RELEASE_IMAGE_OVERRIDE=${LOCAL_REG}/${LOCAL_REPO}:${OCP_RELEASE}
export RELEASE_NAME="ocp-release"

cat << EOF > /root/.ssh/config
StrictHostKeyChecking no
UserKnownHostsFile=/dev/null
EOF

cd /root/ocp4
# scp ocp4.tgz to /root
# scp install-config.yaml to /root/ocp4
# 根据现场环境，修改 install-config.yaml
# 至少要修改ssh key， 还有 additionalTrustBundle，这个是镜像仓库的csr 
# example file at files/4.2/kvm/

/bin/rm -rf *.ign .openshift_install_state.json auth bootstrap master0 master1 master2 worker0 worker1 worker2

openshift-install create ignition-configs --dir=/root/ocp4

# 以下操作本来是想设置网卡地址，但是实践发现是不需要的。
# 保留在这里，是因为他可以在安装的时候注入文件，非常有用。
mkdir -p bootstrap/etc/sysconfig/network-scripts/
# cat <<EOF > bootstrap/etc/sysconfig/network-scripts/ifcfg-ens3
# DEVICE=ens3
# BOOTPROTO=none
# ONBOOT=yes
# IPADDR=192.168.7.12
# NETMASK=255.255.255.0
# GATEWAY=192.168.7.1
# DNS=192.168.7.11
# DNS1=192.168.7.11
# DNS2=192.168.7.1
# DOMAIN=redhat.ren
# PREFIX=24
# DEFROUTE=yes
# IPV6INIT=no
# EOF
filetranspiler -i bootstrap.ign -f bootstrap -o bootstrap-static.ign

/bin/cp -f bootstrap-static.ign /var/www/html/ignition/

mkdir -p master0/etc/sysconfig/network-scripts/
# cat <<EOF > master0/etc/sysconfig/network-scripts/ifcfg-ens3
# DEVICE=ens3
# BOOTPROTO=none
# ONBOOT=yes
# IPADDR=192.168.7.13
# NETMASK=255.255.255.0
# GATEWAY=192.168.7.1
# DNS1=192.168.7.11
# DNS2=192.168.7.1
# DOMAIN=redhat.ren
# PREFIX=24
# DEFROUTE=yes
# IPV6INIT=no
# EOF
filetranspiler -i master.ign -f master0 -o master-0.ign

/bin/cp -f master-0.ign /var/www/html/ignition/

mkdir -p master1/etc/sysconfig/network-scripts/
# cat <<EOF > master1/etc/sysconfig/network-scripts/ifcfg-ens3
# DEVICE=ens3
# BOOTPROTO=none
# ONBOOT=yes
# IPADDR=192.168.7.14
# NETMASK=255.255.255.0
# GATEWAY=192.168.7.1
# DNS1=192.168.7.11
# DNS2=192.168.7.1
# DOMAIN=redhat.ren
# PREFIX=24
# DEFROUTE=yes
# IPV6INIT=no
# EOF
filetranspiler -i master.ign -f master1 -o master-1.ign

/bin/cp -f master-1.ign /var/www/html/ignition/

mkdir -p master2/etc/sysconfig/network-scripts/
# cat <<EOF > master2/etc/sysconfig/network-scripts/ifcfg-ens3
# DEVICE=ens3
# BOOTPROTO=none
# ONBOOT=yes
# IPADDR=192.168.7.15
# NETMASK=255.255.255.0
# GATEWAY=192.168.7.1
# DNS1=192.168.7.11
# DNS2=192.168.7.1
# DOMAIN=redhat.ren
# PREFIX=24
# DEFROUTE=yes
# IPV6INIT=no
# EOF
filetranspiler -i master.ign -f master2 -o master-2.ign

/bin/cp -f master-2.ign /var/www/html/ignition/

mkdir -p worker0/etc/sysconfig/network-scripts/
# cat <<EOF > worker0/etc/sysconfig/network-scripts/ifcfg-ens3
# DEVICE=ens3
# BOOTPROTO=none
# ONBOOT=yes
# IPADDR=192.168.7.16
# NETMASK=255.255.255.0
# GATEWAY=192.168.7.1
# DNS1=192.168.7.11
# DNS2=192.168.7.1
# DOMAIN=redhat.ren
# PREFIX=24
# DEFROUTE=yes
# IPV6INIT=no
# EOF
filetranspiler -i worker.ign -f worker0 -o worker-0.ign

/bin/cp -f worker-0.ign /var/www/html/ignition/

mkdir -p worker1/etc/sysconfig/network-scripts/
# cat <<EOF > worker1/etc/sysconfig/network-scripts/ifcfg-ens3
# DEVICE=ens3
# BOOTPROTO=none
# ONBOOT=yes
# IPADDR=192.168.7.17
# NETMASK=255.255.255.0
# GATEWAY=192.168.7.1
# DNS1=192.168.7.11
# DNS2=192.168.7.1
# DOMAIN=redhat.ren
# PREFIX=24
# DEFROUTE=yes
# IPV6INIT=no
# EOF
filetranspiler -i worker.ign -f worker1 -o worker-1.ign

/bin/cp -f worker-1.ign /var/www/html/ignition/

mkdir -p worker2/etc/sysconfig/network-scripts/
# cat <<EOF > worker2/etc/sysconfig/network-scripts/ifcfg-ens3
# DEVICE=ens3
# BOOTPROTO=none
# ONBOOT=yes
# IPADDR=192.168.7.18
# NETMASK=255.255.255.0
# GATEWAY=192.168.7.1
# DNS1=192.168.7.11
# DNS2=192.168.7.1
# DOMAIN=redhat.ren
# PREFIX=24
# DEFROUTE=yes
# IPV6INIT=no
# EOF
filetranspiler -i worker.ign -f worker2 -o worker-2.ign

/bin/cp -f worker-2.ign /var/www/html/ignition/

回到宿主机

本来，到了这一步，就可以开始安装了，但是我们知道coreos装的时候，要手动输入很长的命令行，实际操作的时候，那是不可能输入对的，输入错一个字符，安装就失败，要重启，重新输入。。。

为了避免这种繁琐的操作，参考网上的做法，我们就需要为每个主机定制iso了。

这里面有一个坑，我们是不知道主机的网卡名称的，只能先用coreos iso安装启动一次，进入单用户模式以后，ip a 来查看以下，才能知道，一般来说，是ens3。

# on kvm host

yum -y install genisoimage libguestfs-tools

export NGINX_DIRECTORY=/data/ocp4
export RHCOSVERSION=4.2.0
export VOLID=$(isoinfo -d -i ${NGINX_DIRECTORY}/rhcos-${RHCOSVERSION}-x86_64-installer.iso | awk '/Volume id/ { print $3 }')
TEMPDIR=$(mktemp -d)
echo $VOLID
echo $TEMPDIR

systemctl start libvirtd

cd ${TEMPDIR}
# Extract the ISO content using guestfish (to avoid sudo mount)
guestfish -a ${NGINX_DIRECTORY}/rhcos-${RHCOSVERSION}-x86_64-installer.iso \
  -m /dev/sda tar-out / - | tar xvf -

# Helper function to modify the config files
modify_cfg(){
  for file in "EFI/redhat/grub.cfg" "isolinux/isolinux.cfg"; do
    # Append the proper image and ignition urls
    sed -e '/coreos.inst=yes/s|$| coreos.inst.install_dev=vda coreos.inst.image_url='"${URL}"'\/install\/'"${BIOSMODE}"'.raw.gz coreos.inst.ignition_url='"${URL}"'\/ignition\/'"${NODE}"'.ign ip='"${IP}"'::'"${GATEWAY}"':'"${NETMASK}"':'"${FQDN}"':'"${NET_INTERFACE}"':none:'"${DNS}"' nameserver='"${DNS}"'|' ${file} > $(pwd)/${NODE}_${file##*/}
    # Boot directly in the installation
    sed -i -e 's/default vesamenu.c32/default linux/g' -e 's/timeout 600/timeout 10/g' $(pwd)/${NODE}_${file##*/}
  done
}

URL="http://192.168.7.11:8080/"
GATEWAY="192.168.7.1"
NETMASK="255.255.255.0"
DNS="192.168.7.11"

# BOOTSTRAP
# TYPE="bootstrap"
NODE="bootstrap-static"
IP="192.168.7.12"
FQDN="bootstrap"
BIOSMODE="bios"
NET_INTERFACE="ens3"
modify_cfg

# MASTERS
# TYPE="master"
# MASTER-0
NODE="master-0"
IP="192.168.7.13"
FQDN="master-0"
BIOSMODE="bios"
NET_INTERFACE="ens3"
modify_cfg

# MASTER-1
NODE="master-1"
IP="192.168.7.14"
FQDN="master-1"
BIOSMODE="bios"
NET_INTERFACE="ens3"
modify_cfg

# MASTER-2
NODE="master-2"
IP="192.168.7.15"
FQDN="master-2"
BIOSMODE="bios"
NET_INTERFACE="ens3"
modify_cfg

# WORKERS
NODE="worker-0"
IP="192.168.7.16"
FQDN="worker-0"
BIOSMODE="bios"
NET_INTERFACE="ens3"
modify_cfg

NODE="worker-1"
IP="192.168.7.17"
FQDN="worker-1"
BIOSMODE="bios"
NET_INTERFACE="ens3"
modify_cfg

NODE="worker-2"
IP="192.168.7.18"
FQDN="worker-2"
BIOSMODE="bios"
NET_INTERFACE="ens3"
modify_cfg

# Generate the images, one per node as the IP configuration is different...
# https://github.com/coreos/coreos-assembler/blob/master/src/cmd-buildextend-installer#L97-L103
for node in master-0 master-1 master-2 worker-0 worker-1 worker-2 bootstrap-static; do
  # Overwrite the grub.cfg and isolinux.cfg files for each node type
  for file in "EFI/redhat/grub.cfg" "isolinux/isolinux.cfg"; do
    /bin/cp -f $(pwd)/${node}_${file##*/} ${file}
  done
  # As regular user!
  genisoimage -verbose -rock -J -joliet-long -volset ${VOLID} \
    -eltorito-boot isolinux/isolinux.bin -eltorito-catalog isolinux/boot.cat \
    -no-emul-boot -boot-load-size 4 -boot-info-table \
    -eltorito-alt-boot -efi-boot images/efiboot.img -no-emul-boot \
    -o ${NGINX_DIRECTORY}/${node}.iso .
done

# Optionally, clean up
cd
rm -Rf ${TEMPDIR}

cd /data/ocp4

# finally, we can start install :)
# 你可以一口气把虚拟机都创建了，然后喝咖啡等着。
# 从这一步开始，到安装完毕，大概30分钟。
virt-install --name=ocp4-bootstrap --vcpus=4 --ram=8192 \
--disk path=/data/kvm/ocp4-bootstrap.qcow2,bus=virtio,size=120 \
--os-variant rhel8.0 --network network=openshift4,model=virtio \
--boot menu=on --cdrom /data/ocp4/bootstrap-static.iso   

# 想登录进coreos一探究竟？那么这么做
# ssh core@192.168.7.12 
# journalctl -b -f -u bootkube.service

virt-install --name=ocp4-master0 --vcpus=4 --ram=32768 \
--disk path=/data/kvm/ocp4-master0.qcow2,bus=virtio,size=120 \
--os-variant rhel8.0 --network network=openshift4,model=virtio \
--boot menu=on --cdrom /data/ocp4/master-0.iso 

# ssh core@192.168.7.13

virt-install --name=ocp4-master1 --vcpus=4 --ram=32768 \
--disk path=/data/kvm/ocp4-master1.qcow2,bus=virtio,size=120 \
--os-variant rhel8.0 --network network=openshift4,model=virtio \
--boot menu=on --cdrom /data/ocp4/master-1.iso 

virt-install --name=ocp4-master2 --vcpus=4 --ram=32768 \
--disk path=/data/kvm/ocp4-master2.qcow2,bus=virtio,size=120 \
--os-variant rhel8.0 --network network=openshift4,model=virtio \
--boot menu=on --cdrom /data/ocp4/master-2.iso 

virt-install --name=ocp4-worker0 --vcpus=4 --ram=32768 \
--disk path=/data/kvm/ocp4-worker0.qcow2,bus=virtio,size=120 \
--os-variant rhel8.0 --network network=openshift4,model=virtio \
--boot menu=on --cdrom /data/ocp4/worker-0.iso 

virt-install --name=ocp4-worker1 --vcpus=4 --ram=32768 \
--disk path=/data/kvm/ocp4-worker1.qcow2,bus=virtio,size=120 \
--os-variant rhel8.0 --network network=openshift4,model=virtio \
--boot menu=on --cdrom /data/ocp4/worker-1.iso 

virt-install --name=ocp4-worker2 --vcpus=4 --ram=32768 \
--disk path=/data/kvm/ocp4-worker2.qcow2,bus=virtio,size=120 \
--os-variant rhel8.0 --network network=openshift4,model=virtio \
--boot menu=on --cdrom /data/ocp4/worker-2.iso 

# on workstation
# open http://192.168.7.11:9000/
# to check

打开浏览器，能看到一个监控页面，我们就能大致了解安装的进度。

等了一段时间以后，监控上看大概是这样

在工具机上面

在bootstrap和装master阶段，用这个命令看进度。

openshift-install wait-for bootstrap-complete --log-level debug

一切正常的话，会看到这个。

有时候证书会过期，验证方法是登录 bootstrap, 看看过期时间。如果确定过期，要清除所有的openshift-install生成配置文件的缓存，重新来过。

echo | openssl s_client -connect localhost:6443 | openssl x509 -noout -text | grep Not

一般来说，如果在openshift-install这一步之前，按照文档，删除了缓存文件，就不会出现过期的现象。

cd ~/ocp4
export KUBECONFIG=/root/ocp4/auth/kubeconfig
oc get nodes

这个时候，只能看到master，是因为worker的csr没有批准。如果虚拟机是一口气创建的，那么多半不会遇到下面的问题。

oc get csr

会发现有很多没有被批准的

批准之

yum -y install jq
oc get csr -ojson | jq -r '.items[] | select(.status == {} ) | .metadata.name' | xargs oc adm certificate approve

然后worker 节点cpu飙高，之后就能看到worker了。

我们的工具机是带nfs的，那么就配置高档一些的nfs存储吧，不要用emptydir

bash ocp4-upi-helpernode-master/files/nfs-provisioner-setup.sh

oc edit configs.imageregistry.operator.openshift.io
# 修改 storage 部分
# storage:
#   pvc:
#     claim:
oc patch configs.imageregistry.operator.openshift.io cluster -p '{"spec":{"storage":{"pvc":{"claim":""}}}}' --type=merge


oc get clusteroperator image-registry

等一会，会看到这个，就对了。

上面的操作完成以后，就可以完成最后的安装了

openshift-install wait-for install-complete
# here is the output
INFO Waiting up to 30m0s for the cluster at https://api.ocp4.redhat.ren:6443 to initialize...
INFO Waiting up to 10m0s for the openshift-console route to be created...
INFO Install complete!
INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/root/ocp4/auth/kubeconfig'
INFO Access the OpenShift web-console here: https://console-openshift-console.apps.ocp4.redhat.ren
INFO Login to the console with user: kubeadmin, password: 8jFdX-sBENb-4gujS-ojNiY

配置一下本地的dns ( 把 *.apps.ocp4.redhat.ren 配置成 192.168.7.11 ) ，指向工具机的haproxy，打开浏览器就能访问管理界面了

Operator Hub 离线安装

https://docs.openshift.com/container-platform/4.2/operators/olm-restricted-networks.html

https://github.com/operator-framework/operator-registry

https://www.cnblogs.com/ericnie/p/11777384.html?from=timeline&isappinstalled=0

https://access.redhat.com/documentation/en-us/openshift_container_platform/4.2/html-single/images/index

operator hub 准备分2个层次，一个是本文章描述的，制作operator hub的离线资源，并镜像operator 镜像。做到这一步，能够在离线部署的ocp4.2上，看到operator hub，并且能够部署operator。但是如果要用operator来部署要用的组件，那么operator会再去下载镜像，这个层次的镜像，也需要离线部署，但是由于每个operator需要的镜像都不一样，也没有统一的地方进行描述，所以需要各个项目现场，根据需要另外部署，本项目会尽量多的下载需要的镜像，但是目前无法避免遗漏。

# on helper node， 在工具机上
cd /root/ocp4

# scp /etc/crts/redhat.ren.crt 192.168.7.11:/root/ocp4/
oc project openshift-config
oc create configmap ca.for.registry \
    --from-file=registry.redhat.ren=/root/ocp4/redhat.ren.crt
oc delete configmap ca.for.registry
oc patch image.config.openshift.io/cluster -p '{"spec":{"additionalTrustedCA":{"name":"ca.for.registry"}}}'  --type=merge
# oc patch image.config.openshift.io/cluster -p '{"spec":{"registrySources":{"insecureRegistries":["registry.redhat.ren"]}}}'  --type=merge

oc patch OperatorHub cluster --type json \
    -p '[{"op": "add", "path": "/spec/disableAllDefaultSources", "value": true}]'

yum -y install python36
# 根据项目现场情况，修改以下脚本参数后运行
bash image.registries.conf.sh

# 由于某些ocp 4.2的更新机制，以下操作会触发集群更新，
# 集群节点会逐个重启，集群组件也会逐个重启，请等待集群重启完毕。
oc apply -f ./99-worker-container-registries.yaml -n openshift-config
oc apply -f ./99-master-container-registries.yaml -n openshift-config

# 以下操作，删除mirror镜像信息，也会触发集群更新操作，请等待集群重启完毕
oc delete -f ./99-worker-container-registries.yaml -n openshift-config
oc delete -f ./99-master-container-registries.yaml -n openshift-config

watch oc get machineconfigpools

watch oc get node

从监控界面，能看到节点在升级，重启。

# on helper node

# 如果想看到redhat的operator，这样做
cat <<EOF > redhat-operator-catalog.yaml
apiVersion: operators.coreos.com/v1alpha1
kind: CatalogSource
metadata:
  name: redhat-operator-catalog
  namespace: openshift-marketplace
spec:
  displayName: Redhat Operator Catalog
  sourceType: grpc
  image: registry.redhat.ren/ocp-operator/custom-registry:redhat
EOF
oc create -f redhat-operator-catalog.yaml

# 如果想看到certified的operator，这样做
cat <<EOF > certified-operator-catalog.yaml
apiVersion: operators.coreos.com/v1alpha1
kind: CatalogSource
metadata:
  name: certified-operator-catalog
  namespace: openshift-marketplace
spec:
  displayName: Certified Operator Catalog
  sourceType: grpc
  image: registry.redhat.ren/ocp-operator/custom-registry:certified
EOF
oc create -f certified-operator-catalog.yaml


# 如果想看到community的operator，这样做
cat <<EOF > community-operator-catalog.yaml
apiVersion: operators.coreos.com/v1alpha1
kind: CatalogSource
metadata:
  name: community-operator-catalog
  namespace: openshift-marketplace
spec:
  displayName: Community Operator Catalog
  sourceType: grpc
  image: registry.redhat.ren/ocp-operator/custom-registry:community
EOF
oc create -f community-operator-catalog.yaml

# 想删除这个离线operator hub，就这样做。
oc delete -f *-operator-catalog.yaml

oc get pods -n openshift-marketplace
oc get catalogsource -n openshift-marketplace
oc get packagemanifest -n openshift-marketplace

能看到operator 列表

部署一个operator也能成功

免费的SSL泛域名证书

2019-11-06T22:11:00.000+08:00

要弄一个免费的泛域名证书，需要准备2个东西：
1. 自己的DNS域名
2. 本地docker运行环境

在本地运行如下的命令：

docker run -it --rm --name certbot \
-v "/Users/wzh/OneDrive/alauda/tools/certbot/etc:/etc/letsencrypt" \
-v "/Users/wzh/OneDrive/alauda/tools/certbot/lib:/var/lib/letsencrypt" \
certbot/certbot certonly -d "*.wander.ren" --manual --preferred-challenges dns-01 --server https://acme-v02.api.letsencrypt.org/directory

kong demo

2018-10-07T09:30:00.005+08:00

following these:

https://github.com/Kong/kong-dist-kubernetes

first, deploy https://github.com/Kong/kong-dist-kubernetes/blob/master/postgres.yaml

kubectl apply -f ***

then, deploy https://github.com/Kong/kong-dist-kubernetes/blob/master/kong_postgres.yaml

3rd, run one time job https://github.com/Kong/kong-dist-kubernetes/blob/master/kong_migration_postgres.yaml

office scan, trend security, osx 停止和启动

2016-09-05T10:40:00.003+08:00

趋势的杀毒软件，非常消耗机器资源，在osx上面，如何停止和启动他们呢？

首先，sudo bash。

如果要停止服务，运行如下命令：
launchctl unload /Library/LaunchDaemons/com.trendmicro.tmsm.plugin.plist
launchctl unload /Library/LaunchDaemons/com.trendmicro.icore.wp.plist
launchctl unload /Library/LaunchDaemons/com.trendmicro.icore.main.plist
launchctl unload /Library/LaunchDaemons/com.trendmicro.icore.av.plist
launchctl unload /Library/LaunchDaemons/com.trendmicro.tmsm.launcher.plist

launchctl disable system/com.trendmicro.tmsm.plugin
launchctl disable system/com.trendmicro.icore.wp
launchctl disable system/com.trendmicro.icore.main
launchctl disable system/com.trendmicro.icore.av
launchctl disable system/com.trendmicro.tmsm.launcher

killall TmLoginMgr
killall UIMgmt
killall MainUI
killall iCoreService
killall iCoreService_av
killall iCoreService_wp
killall iCoreService_tmsm

如果要启动服务，运行如下命令：
launchctl enable system/com.trendmicro.tmsm.plugin
launchctl enable system/com.trendmicro.icore.wp
launchctl enable system/com.trendmicro.icore.main
launchctl enable system/com.trendmicro.icore.av
launchctl enable system/com.trendmicro.tmsm.launcher

launchctl load /Library/LaunchDaemons/com.trendmicro.tmsm.plugin.plist
launchctl load /Library/LaunchDaemons/com.trendmicro.icore.wp.plist
launchctl load /Library/LaunchDaemons/com.trendmicro.icore.main.plist
launchctl load /Library/LaunchDaemons/com.trendmicro.icore.av.plist
launchctl load /Library/LaunchDaemons/com.trendmicro.tmsm.launcher.plist

cd "/Library/Application Support/TrendMicro/TmccMac"
open TmLoginMgr.app/

好了，以后可以在需要的时候打开这个杀毒软件，不需要的时候，就关闭吧。

wordpress 插件 Video Embed & Thumbnail Generator 造成媒体库加载缓慢的问题

2016-02-20T16:31:00.003+08:00

在wordpress上面装了Video Embed & Thumbnail Generator 这个插件，非常好用，但是发现媒体库加载非常缓慢，查找原因总是不得要领，mysql性能不错，php也没问题。最后发现是dns解析的问题。

情况是这样，wordpress主机是在防火墙里面的，本身是一个私有地址，而wordpress对外的域名是解析到公有地址上面的，而这个域名，在主机上是解析到公有地址，造成了一些问题。

于是编辑/etc/hosts，把公有地址对应成为127.0.0.1，这样就没问题啦。

ubuntu vnc xfce4 中文

2016-02-10T14:12:00.000+08:00

ubuntu 14.04下面安装vnc, 并且启动xfce4非常方便，而且中文支持的也不错，我运行java程序，界面上吗带中文，之间就能支持。安装过程如下：

先安装vnc, xfce4, 中文，字体等

apt-get install xfce4 xfce4-goodies vnc4server language-pack-zh-hans fonts-droid ttf-wqy-zenhei ttf-wqy-microhei fonts-arphic-ukai fonts-arphic-uming

然后安装java环境，当然这一步不是必须的。

apt-get install python-software-properties

add-apt-repository ppa:webupd8team/java

apt-get update

apt-get install oracle-java8-installer

然后编辑/etc/default/locale

加入LC_ALL="en_US.UTF-8"

然后在某个非root用户下面，执行vncserver :0

然后执行vncserver -kill :0

上面的命令是未来初始化一些脚本。

然后编辑$HOME/.vnc/xstartup
#!/bin/sh

# Uncomment the following two lines for normal desktop:
unset SESSION_MANAGER
# exec /etc/X11/xinit/xinitrc

startxfce4 &

[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources

xsetroot -solid grey
vncconfig -iconic &

#x-terminal-emulator -geometry 80x24+10+10 -ls -title "$VNCDESKTOP Desktop" &
#x-window-manager &

编辑成上面的样子。

然后就可以运行vnc啦，

vncserver :0 -localhost -nolisten tcp

上面运行的vnc是监听本地的请求，不允许外面了连接，这样是为了安全。那怎么使用呢？

我们先

ssh -L 5900:127.0.0.1:5900 user@hostip

然后用vnc客户端，连接127.0.0.1就可以啦。

启动的vnc界面里面，会启动xfce4，如果发现图标不对，就点击setting->apperance下面，选择一下theme主题，和图标下面的图标组就可以了。

如果向在这个普通用户vnc环境下，运行root的图形界面程序，那么在普通用户下，运行xhost +，然后进入root用户，就可以运行啦。

另外需要修改 ~/.config/xfce4/xfconf/xfce-perchannel-xml/xfce4-keyboard-shortcuts.xml
把
<property name="<Super>Tab" type="string" value="switch_window_key"/>
变成
<property name="<Super>Tab" type="empty" />

wordpress solr 中文搜索

2016-02-02T18:30:00.001+08:00

wordpress的搜索功能不太好用，要说中文搜索，那基本上就等于没有，因为wordpress用的sql语句拼出来的查询条件，碰到中文，那就不行了。

还好，wordpress支持solr搜索，solr本身是可以配置成支持中文搜索的，这里就把大概的配置过程梳理一下。

首先，当然要安装好wordpress，然后要配置好“固定链接”。这一步很重要，因为我们用到的wpsolr插件，依赖这个功能。当初我就没配置好这个，造成了搜索页面没有显示出来。虽然作者的FAQ第一条就是这个，但是还是没注意。要配置固定链接，需要调整apache的配置，AllowOverride All ，类似这种配置，请自行谷歌。

然后就是安装solr，首先要安装java，请自行谷歌安装方法。
然后按照solr官方的操作步骤，先下载solr的zip压缩包，然后启动solr
solr start
再运行
solr create -c wpcore -d {solr_path}/example/files/conf/ ，这样就生成了solr的一个core.

然后就是按照wpsolr里面的solr 安装文档
http://wpsolr.com/installation-guide/
把schema.xml , solrconfig.xml ，上传到 {solr_path}/server/solr/wpcore/conf 下面去。

接着我们要配置中文分词，我们可以使用https://github.com/hankcs/hanlp-solr-plugin 的中文分词，按照项目帮助，将hanlp-portable.jar和hanlp-solr-plugin.jar共两个jar放入${webapp}/WEB-INF/lib下

之后，要修改schema.xml
把text, text_ws, text_lws, textTight, textSpell 等filetype 都改成下面这个样子，注意哦，原来的positionIncrementGap之类的要去掉。
<fieldType name="text" class="solr.TextField">
<analyzer type="index" enableIndexMode="true" class="com.hankcs.lucene.HanLPAnalyzer"/>
<analyzer type="query" enableIndexMode="true" class="com.hankcs.lucene.HanLPAnalyzer"/>
</fieldType>
然后重启solr

接下来，在wordpress里面安装配置wpsolr，然后配置连接solr的参数，就能看到效果啦。

不过默认wpsolr的搜索结果高亮不明显，是因为用了默认的，我们给他换成更显眼的高亮方式，要修改wp-content/plugins/wpsolr-search-engine/classes/solr/wpsolr-search-solr-client.php
把
const DEFAULT_HIGHLIGHTING_PREFIX = '';

const DEFAULT_HIGHLIGHTING_POSFIX = '';

改成

const DEFAULT_HIGHLIGHTING_PREFIX = '';

const DEFAULT_HIGHLIGHTING_POSFIX = '';

最后，由于gfw的问题，需要停止recaptcha的引用，修改dashboard_settings.php
注释掉如下的语句

//wp_enqueue_script( 'google-api-recaptcha', '//www.google.com/recaptcha/api.js', array() );

修改完了重启apache。

然后就能看到效果啦。我这里实现了搜索高亮，搜索词推荐，效果还是挺好的。

Gephi：一个开源网络和图的可视化工具 « 幻肢

2011-06-28T12:34:00.000+08:00

Gephi：一个开源网络和图的可视化工具 « 幻肢: "Gephi：一个开源网络和图的可视化工具

Infographics是个看起来很帅很拉风的东西。一堆数据，如果生动直观的展现给观众已经成了门学问。我一直想学学Processing，很多漂亮的图都是用它生成的。这个已经停留在我心中的TODO list上很久了，不过根据我的进度还会继续停留好久。。。

前一阵帮牧哥的paper打酱油处理数据，需要 visualize 实验参与者的社会关系，事先的 survey 已经知道参与者与其他人是否好友。要做的事情就是如何展现他们的社会关系。我折腾来折腾去终于找到了今天要介绍的玩意儿：Gephi 中文发音可能是“盖飞”。它号称是 Photoshop for Graph，（既然是开源的怎么不是Gimp for Graph…），可以漂亮的 visualize 各种图关系，当然social networks也不在话下。更重要的是不需要写代码，所有过程都是交互的，可拖可拉可调可编辑，傻瓜型，i.e. WYSIWYG。下面是官方的视频：

http://v.youku.com/v_show/id_XMjU5MDUwMjg4.html

- 使用 Google 工具栏发送"

CVPR 2011 Best Paper-优秀论文 | 丕子

2011-06-25T22:22:00.000+08:00

CVPR 2011 Best Paper-优秀论文 | 丕子: "PAPER AWARDS

Longuet-Higgins Prize – Rapid Object Detection using a Boosted Cascade of Simple Features. Paul A. Viola, Michael J. Jones

Best Paper - Real-time Human Pose Recognition in Parts from Single Depth Images, Jamie Shotton, Andrew FItzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore, Alex Kipman, Andrew Blake

Best Paper Honorable Mention - Discrete-Continuous Optimization for Large-scale Structure from Motion, David Crandall, Andrew Owens, Noah Snavely, Daniel Huttenlocher

Best Student Paper – Recognition Using Visual Phrases, Ali Farhadi, Mohammad Amin Sadeghi

Best Student Paper Honorable Mention- Separating Reflective and Fluorescent Components of An Image, Cherry Zhang, Imari Sato

- 使用 Google 工具栏发送"

cygwin package source code

2011-06-09T12:04:00.000+08:00

cygwin里面可以下载package的source code，但是下载下来以后怎么用呢？

是这样的，需要下载一个cygport软件，然后去/usr/src下面，摆弄你下载下来的程序

eclipse Ubuntu tooltip

2011-06-07T18:58:00.002+08:00

背景不是黑色的吗，去系统外观，color下面，调节tooltip的背景色

Consolas Font Pack for Microsoft Visual Studio 2005 or 2008

2011-05-23T10:51:00.001+08:00

微软的visual studio的编程用的font，很适合matlab里面使用，特别在win7下面，执行pretty等函数的时候，就不会字符错位了

http://www.microsoft.com/downloads/en/details.aspx?familyid=22e69ae4-7e40-4807-8a86-b3d36fab68d3&displaylang=en

pyinstaller

2011-05-17T18:15:00.000+08:00

------------------------win2000安装操作---------------------------
下载:http://pyinstaller.hpcf.upr.edu/
解压后运行:Configure.py
使用方法:
E:\python>python D:\python\pyinstaller-1.3\Makespec.py --onefile --console --icon=./bubble.ico mypy.py
E:\python>python D:\python\pyinstaller-1.3\Build.py mypy.spec
生成:mypy.exe,搞定。

在批处理中实现等待／延迟／暂停

2011-05-09T12:16:00.002+08:00

1、比较传统的设计思路，利用for解析变量%time%并存为一个时间点，再利用set计算两个时间点的时间差，最后用if判断时间差是否达到设定的暂停时间。时间精度为0.01秒，适用平台为WinNT/2K/XP/2003。
@echo off
setlocal enableextensions
echo %time%
call :ProcDelay 200
echo %time%
goto :EOF

:ProcDelay delayMSec_
setlocal enableextensions
for /f "tokens=1-4 delims=:. " %%h in ("%time%") do set start_=%%h%%i%%j%%k
    :_procwaitloop
    for /f "tokens=1-4 delims=:. " %%h in ("%time%") do set now_=%%h%%i%%j%%k
    set /a diff_=%now_%-%start_%
if %diff_% LSS %1 goto _procwaitloop
endlocal & goto :EOF

2、使用Windows的VBS脚本中的sleep函数，可以动态创建这个VBS脚本，然后用Windows脚本宿主的命令行版本调用它。时间精度为0.001秒，使用平台为Win9x/WinNT系列。
@echo off & setlocal enableextensions enabledelayedexpansion
echo WScript.Sleep 2000 > %temp%\tmp$$$.vbs
echo %time%
cscript //nologo %temp%\tmp$$$.vbs
echo %time%
for %%f in (%temp%\tmp$$$.vbs) do if exist %%f del %%f
endlocal & goto :EOF

3、如果你的Windows系统中正常安装了网卡的TCP/IP协议，也可以使用ping定时发送测试包，以此达到暂停一定时间的目的；-n后的数字是发送包的数目，根据植树原则，为暂停秒数加一，此法每秒有0.5%的偏差。时间精度为1秒，使用平台为Win9x/WinNT系列。
ping -n 3 127.0.0.1>nul

4、使用choice的缺省选择等待功能实现暂停，但它有个缺点，就是不能在等待途中按键，否则暂停的倒计时将自动终止。时间精度为1秒，适用平台为MS-DOS/Win9x/WinNT系列。
choice /t:y,2 /n >nul

5、德国人Herbert Kleebauer给出了一个通用方案，通过间接产生一个exe程序来实现延迟，这个程序分为DOS和Win两个模块。延迟精度为0.001秒，适用平台为MS-DOS/Win9x/WinNT。代码见附件（http://willsort.blogchina.com/inc/sleep.bat.txt）。

【转】批处理判断服务是否启动

2011-05-09T12:15:00.002+08:00

@echo off
for /f "skip=3 tokens=4" %%i in ('sc query SharedAccess') do set "zt=%%i" &goto :next

:next
if /i "%zt%"=="RUNNING" (
net stop SharedAccess
sc config SharedAccess start= DISABLED
echo 已经发现该服务在运行，现在已经停止运行
) else (
echo 该服务现在处理停止状态
)
pause

里面的SharedAccess服务名自己可以改成别的,恩..

命令解析

@ 作用是运行时不显示这一行的命令行

echo   作用是显示该命令后的字符

echo off   作用是不显示该命令后的字符
批处理for命令详解
FOR这条命令基本上都被用来处理文本,但还有其他一些好用的功能!
看看他的基本格式(这里我引用的是批处理中的格式,直接在命令行只需要一个%号)
FOR 参数 %%变量名 IN (相关文件或命令) DO 执行的命令
参数:FOR有4个参数 /d /l /r /f 他们的作用我在下面用例子解释
%%变量名 :这个变量名可以是小写a-z或者大写A-Z,他们区分大小写,FOR会把每个读取到的值给他;
IN:命令的格式,照写就是了;
(相关文件或命令) :FOR要把什么东西读取然后赋值给变量,看下面的例子
do:命令的格式,照写就是了!
执行的命令:对每个变量的值要执行什么操作就写在这.
可以在CMD输入for /?看系统提供的帮助!对照一下
FOR %%variable IN (set) DO command [command-parameters]
   %%variable   指定一个单一字母可替换的参数。
   (set)    指定一个或一组文件。可以使用通配符。
   command 指定对每个文件执行的命令。
   command-parameters
         为特定命令指定参数或命令行开关。

现在开始讲每个参数的意思
/d
仅为目录
如果 Set (也就是我上面写的 "相关文件或命令") 包含通配符（* 和 ?），将对与 Set 相匹配的每个目
录（而不是指定目录中的文件组）执行指定的 Command。
系统帮助的格式:FOR /D %%variable IN (set) DO command
他主要用于目录搜索,不会搜索文件,看这样的例子
@echo off
for /d %%i in (*) do @echo %%i
pause
把他保存放在C盘根目录执行,就会把C盘目录下的全部目录名字打印出来,而文件名字一个也不显示!
在来一个,比如我们要把当前路径下文件夹的名字只有1-3个字母的打出来
@echo off
for /d %%i in (???) do @echo %%i
pause
这样的话如果你当前目录下有目录名字只有1-3个字母的,就会显示出来,没有就不显示了

思考题目:
@echo off
for /d %%i in (window?) do @echo %%i
pause
保存到C盘下执行,会显示什么呢?自己看吧!
/D参数只能显示当前目录下的目录名字,这个大家要注意!

/R
递归
进入根目录树 [Drive:]Path，在树的每个目录中执行 for 语句。如果在 /R 后没有指定目录，则认为是
当前目录。如果 Set 只是一个句点 (.)，则只枚举目录树。
系统帮助的格式:FOR /R [[drive:]path] %%variable IN (set) DO command
上面我们知道,/D只能显示当前路径下的目录名字,那么现在这个/R也是和目录有关,他能干嘛呢?放心他比
/D强大多了!
他可以把当前或者你指定路径下的文件名字全部读取,注意是文件名字,有什么用看例子!
@echo off
for /r c:\ %%i in (*.exe) do @echo %%i
pause
咋们把这个BAT保存到D盘随便哪里然后执行,我会就会看到,他把C盘根目录,和每个目录的子目录下面全部
的EXE文件都列出来了,这里的c:\就是目录了。
再来一个
@echo off
for /r %%i in (*.exe) do @echo %%i
pause
参数不一样了，这个命令前面没加那个C:\也就是搜索路径,这样他就会以当前目录为搜索路径,比如你这
个BAT你把他防灾d:\test目录下执行,那么他就会把D:\test目录和他下面的子目录的全部EXE文件列出
来!!!

/L
迭代数值范围
使用迭代变量设置起始值 (Start#)，然后逐步执行一组范围的值，直到该值超过所设置的终止值 (End#)
。/L 将通过对 Start# 与 End# 进行比较来执行迭代变量。如果 Start# 小于 End#，就会执行该命令。
如果迭代变量超过 End#，则命令解释程序退出此循环。还可以使用负的 Step# 以递减数值的方式逐步执
行此范围内的值。例如，(1,1,5) 生成序列 1 2 3 4 5，而 (5,-1,1) 则生成序列 (5 4 3 2 1)。语法是：
系统帮助的格式:for /L %% Variable in (Start#,Step#,End#) do Command
例如：
@echo off
for /l %%i in (1,1,5) do @echo %%i
pause
保存执行看效果,他会打印从1 2 3 4 5   这样5个数字
(1,1,5)这个参数也就是表示从1开始每次加1直到5终止!
再看这个例子
@echo off
for /l %%i in (1,1,5) do start cmd
pause
执行后是不是吓了一跳,怎么多了5个CMD窗口,呵呵!如果把那个 (1,1,5)改成 (1,1,65535)会有什么结果,
我先告诉大家,会打开65535个CMD窗口....这么多你不死机算你强!
当然我们也可以把那个start cmd改成md %%i 这样就会建立指定个目录了!!!名字为1-65535
看完这个被我赋予破坏性质的参数后,我们来看最后一个参数
/f

含有/F的for详细说明
含有/F的for有很大的用处，在批处理中使用的最多，用法如下：
格式：
FOR /F ["options"] %%i IN (file) DO command
FOR /F ["options"] %%i IN ("string") DO command
FOR /F ["options"] %%i IN ('command') DO command

这个可能是最常用的，也是最强的命令，主要用来处理文件和一些命令的输出结果。
file代表一个或多个文件
string 代表字符串
command代表命令
["options"] 可选
对于FOR /F %%i IN (file) DO command
file为文件名，按照官方的说法是，for会依次将file中的文件打开，并且在进行到下一个文件之前将每个文件读取到内存，按照每一行分成一个一个的元素，忽略空白的行，看个例子。
假如文件a.txt中有如下内容：

第1行第1列第1行第2列第1行第3列
第2行第1列第2行第2列第2行第3列
第3行第1列第3行第2列第3行第3列

你想显示a.txt中的内容，会用什么命令呢？当然是type，type a.txt
for也可以完成同样的命令：
for /f %%i in (a.txt) do echo %%i
还是先从括号执行，因为含有参数/f,所以for会先打开a.txt，然后读出a.txt里面的所有内容，把它作为一个集合，并且以每一行作为一个元素，所以会产生这样的集合，

{“第1行第1列第1行第2列第1行第3列”， //第一个元素
“第2行第1列第2行第2列第2行第3列”， //第二个元素
“第3行第1列第3行第2列第3行第3列”} //第三个元素

集合中只有3个元素，同样用%%i依次代替每个元素，然后执行do后面的命令。
具体过程：

用%%i代替“第1行第1列第1行第2列第1行第3列”，执行do后面的echo %%i，显示“第1行第1列第1行第2列第1行第3列”，
用%%i代替“第2行第1列第2行第2列第2行第3列”，执行echo %%i，显示“第2行第1列第2行第2列第2行第3列”，
依次，直到每个元素都代替完为止。

为了加强理解/f的作用，请执行一下两个命令，对比即可明白：

for /f %%i in (a.txt) do echo %%i //这个会显示a.txt里面的内容，因为/f的作用，会读出a.txt中
的内容。
for %%i in (a.txt) do echo %%i //而这个只会显示a.txt这个名字，并不会读取其中的内容。

通过上面的学习，我们发现for /f会默认以每一行来作为一个元素，但是如果我们还想把每一行再分解更小的内容，该怎么办呢？不用担心，for命令还为我们提供了更详细的参数，使我们将每一行分为更小的元素成为可能。
它们就是：delims和tokens
delims 用来告诉for每一行应该拿什么作为分隔符，默认的分隔符是空格和tab键
比如，还是上面的文件，我们执行下面的命令：

for /f "delims= " %%i in (a.txt) do echo %%i

显示的结果是：

第1行第1列
第2行第1列
第3行第1列

为什么是这样的呢。因为这里有了delims这个参数，=后面有一个空格，意思是再将每个元素以空格分割，默认是只取分割之后的第一个元素。
执行过程是：

将第一个元素“第1行第1列第1行第2列第1行第3列”分成三个元素：“第1行第1列” “第1行第2列” “第1行第3列”，它默认只取第一个，即“第1行第1列”，然后执行do后面的命令，依次类推。

但是这样还是有局限的，如果我们想要每一行的第二列元素，那又如何呢？
这时候，tokens跳出来说，我能做到。
它的作用就是当你通过delims将每一行分为更小的元素时，由它来控制要取哪一个或哪几个。
还是上面的例子，执行如下命令：

for /f "tokens=2 delims= " %%i in (a.txt) do echo %%i

执行结果：

第1行第2列
第2行第2列
第3行第2列
如果要显示第三列，那就换成tokens=3。
同时tokens支持通配符*，以及限定范围。
如果要显示第二列和第三列，则换成tokens=2,3或tokens=2-3,如果还有更多的则为：tokens=2-10之类的。
此时的命令为：

for /f "tokens=2,3 delims= " %%i in (a.txt) do echo %%i %%j

怎么多出一个%%j？
这是因为你的tokens后面要取每一行的两列，用%%i来替换第二列，用%%j来替换第三列。
并且必须是按照英文字母顺序排列的，%%j不能换成%%k，因为i后面是j
执行结果为：

第1行第2列第1行第3列
第2行第2列第2行第3列
第3行第2列第3行第3列
对以通配符*，就是把这一行全部或者这一行的剩余部分当作一个元素了。
比如：

for /f "tokens=* delims= " %%i in (a.txt) do echo %%i

执行结果为：

第1行第1列第1行第2列第1行第3列
第2行第1列第2行第2列第2行第3列
第3行第1列第3行第2列第3行第3列
其实就跟for /f %%i in (a.txt) do echo %%i的执行结果是一样的。
再如：

for /f "tokens=2,* delims= " %%i in (a.txt) do echo %%i %%j
执行结果为：

第1行第2列第1行第3列
第2行第2列第2行第3列
第3行第2列第3行第3列

用%%i代替第二列，用%%j代替剩余的所有
最后还有skip合eol，这俩个简单，skip就是要忽略文件的前多少行，而eol用来指定当一行以什么符号开始时，就忽略它。
比如：

for /f "skip=2 tokens=*" %%i in (a.txt) do echo %%i
结果为:

第3行第1列第3行第2列第3行第3列
用skip来告诉for跳过前两行。
如果不加tokens=*的话，执行结果为：

第3行第1列
不知道怎么回事。
再如，当a.txt内容变成：

.第1行第1列第1行第2列第1行第3列
.第2行第1列第2行第2列第2行第3列
第3行第1列第3行第2列第3行第3列
执行for /f "eol=. tokens=*" %%i in (a.txt) do echo %%i结果是：

第3行第1列第3行第2列第3行第3列
用eol来告诉for忽略以“.”开头的行。
同样也必须加tokens=*，否则只会显示“第3行第1列

Python decorator

2007-05-06T14:25:00.000+08:00

class C:
@classmethod
def meth(cls):
...

上面的 @classmethod 等于 meth=classmethod(meth)

decorator 能够用于为函数(普通函数或类的成员函数)添加功能, 不能够用来为类动态添加方法.
decorator 把被修饰的函数作为参数, 其返回值通常是一个函数或者类

一位老兄的不错总结

IE同时连接限制的突破

2007-05-05T19:02:00.000+08:00

HKEY_CURRENT_USER\Software\Microsoft\Windows \CurrentVersion\Internet Settings　　

　　找到名为“ MaxConnectionsPerServer ”的注册表项，将其值改为5(或其他大于2的数字)。如果不存在该项，则创建之，类型为DWORD (32位)；

　　找到名为“ MaxConnectionsPer1_0Server ”的注册表项，将其值改为5(或其他大于2的数字)。如果不存在该项，则创建之，类型为DWORD (32位)；

解除windows的自带zip功能

2007-05-02T19:24:00.000+08:00

老是忘记，现在记录下来

regsvr32 /u zipfldr.dll