archive

Mon, 01 Jan 0001 00:00:00 +0000

multiple containers in single pod #

apiVersion: apps/v1
kind: Deployment
metadata:
 labels:
 spring-boot: "true"
 app: multiple-pod-test
 provider: jkube
 version: 1.0.5-SNAPSHOT
 group: com.metaleap.framework
 name: multiple-pod-test
spec:
 replicas: 1
 revisionHistoryLimit: 2
 selector:
 matchLabels:
 app: multiple-pod-test
 provider: jkube
 group: com.metaleap.framework
 strategy:
 rollingUpdate:
 maxSurge: 5
 maxUnavailable: 0
 type: RollingUpdate
 template:
 metadata:
 labels:
 spring-boot: "true"
 app: multiple-pod-test
 provider: jkube
 version: 1.0.5-SNAPSHOT
 group: com.metaleap.framework
 spec:
 containers:
 - env:
 - name: SPRING_PROFILES_ACTIVE
 valueFrom:
 configMapKeyRef:
 name: base
 key: SPRING_PROFILES_ACTIVE
 - name: APPLICATION_NAME
 value: ${project.artifactId}
 - name: TZ
 value: Asia/Shanghai
 - name: KUBERNETES_NAMESPACE
 valueFrom:
 fieldRef:
 fieldPath: metadata.namespace
 - name: HOSTNAME
 valueFrom:
 fieldRef:
 fieldPath: metadata.name
 image: gitlab.pixdaddy.com:5050/magic/backend/magic-brush/magic-brush-app:1.0.1-SNAPSHOT
 imagePullPolicy: IfNotPresent
 lifecycle:
 postStart:
 exec:
 command:
 - sh
 - -c
 - |
 if netstat -nltp | grep ":80 "; then
 echo 'check port use netstat';
 exit 0;
 else
 echo 'not ready';
 exit 14;
 fi
 name: my-sqldb
 ports:
 - containerPort: 8090
 name: http
 protocol: TCP
 securityContext:
 privileged: false

 - env:
 - name: sqlhostname
 value: sql-test-pod
 - name: HOSTNAME
 valueFrom:
 fieldRef:
 fieldPath: metadata.name
 image: nginx
 ports:
 - containerPort: 80
 name: http
 protocol: TCP
 imagePullPolicy: IfNotPresent
 name: python-utils
 livenessProbe:
 httpGet:
 path: /
 port: 80
 initialDelaySeconds: 20
 periodSeconds: 9
 timeoutSeconds: 10
 readinessProbe:
 httpGet:
 path: /
 port: 80
 initialDelaySeconds: 25
 periodSeconds: 9
 timeoutSeconds: 10

 dnsConfig:
 options:
 - name: single-request-reopen
 - name: ndots
 value: "2"
 imagePullSecrets:
 - name: registry-key

Mon, 01 Jan 0001 00:00:00 +0000

虚拟机准备 #

# virtualbox 下载；https://download.virtualbox.org/virtualbox/7.0.6/VirtualBox-7.0.6-155176-OSX.dmg
# centos min : http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-Minimal-2009.iso?spm=a2c6h.25603864.0.0.60196aeaRSRcS0
# k8s-master (bridge)(192.168.1.20)
# k8s-node01 (bridge)(192.168.1.31)
# k8s-node02 (bridge)(192.168.1.32)

系统初始化 #

# 设置系统主机名以及 Host文件的相互解析
hostnamectl set-hostname k8s-master01

# 安装依赖包
yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git

# 设置防火墙为 Iptables 并设置空规则
systemctl stop firewalld && systemctl disable firewalld 
yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

# 关闭SELINUX
swapoff -a && sed -i '/ swap /s/^\(.*\)$/#\1/g' /etc/fstab && setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

# 调整内核参数，对于K8S
cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 #禁止使用swap空间，只有当系统OOM时才允许使用它 
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
sysctl -p /etc/sysctl.d/kubernetes.conf # sysctl: cannot stat /proc/sys/net/bridge/bridge-nf-call-iptables: 没有那个文件或目录 ----》 modprobe br_netfilter

# 调整系统时区
#设置系统时区为中国/上海
timedatectl set-timezone Asia/Shanghai
# 将当前的UTC时间写入硬件时钟
timedatectl set-local-rtc 0
# 重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond

#关闭系统不需要服务
systemctl stop postfix && systemctl disable postfix

# 设置 rsyslogd 和 systemd journald
mkdir /var/log/journal # 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
#持久化保存到磁盘
Storage=persistent
#压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
#最大占用空间10G
SystemMaxUse=10G
#单日志文件最大200M
SystemMaxFileSize=200M
#日志保存时间2周
MaxRetentionSec=2week 
#不将日志转发到 syslog 
ForwardToSyslog=no
EOF
systemctl restart systemd-journald

# 升级系统内核为4.44
# CentOS 7.x系统自带的3.10.x内核存在一些Bugs，导致运行的Docker、Kubernetes不稳定，例如：rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
 # 方式一：最新的
 rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
 yum --enablerepo=elrepo-kernel install -y kernel-lt

 # 方式二：google 下载rpm包进行安装
 wget https://linux.cc.iitk.ac.in/mirror/centos/elrepo/kernel/el7/x86_64/RPMS/kernel-lt-4.4.213-1.el7.elrepo.x86_64.rpm
 yum install kernel-lt-4.4.213-1.el7.elrepo.x86_64.rpm

 # 查看已经安装的内核
 1： awk -F\' '$1=="menuentry " {print i++ " : " $2}' /etc/grub2.cfg
 2： # 安装完成后检查 /boot/grub2/grub.cfg 中对应内核menuentry中是否包含initrd16配置，如果没有，再安装一次！
#设置开机从新内核启动
# grub2-set-default 'CentOS Linux (4.4.189-1.el7.elrepo.x86_64) 7 (Core)'
grub2-set-default 'CentOS Linux (4.4.213-1.el7.elrepo.x86_64) 7 (Core)'

部署安装-kubeadm #

# kube-proxy开启ipvs的前置条件
modprobe br_netfilter
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr 
modprobe -- ip_vs_sh 
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

# 安装 Docker软件
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum update -y && yum install -y docker-ce
## 创建/etc/docker目录 
mkdir /etc/docker
#配置daemon.
cat > /etc/docker/daemon.json <<EOF
{
 "exec-opts":["native.cgroupdriver=systemd"],
 "registry-mirrors": ["https://ud6340vz.mirror.aliyuncs.com"],
 "log-driver":"json-file",
 "log-opts":{
 "max-size":"100m"
 }
}
EOF
mkdir -p /etc/systemd/system/docker.service.d
# 重启docker服务
systemctl daemon-reload && systemctl restart docker && systemctl enable docker

# 安装Kubeadm（主从配置）
cat > /etc/yum.repos.d/kubernetes.repo <<EOF 
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
systemctl enable kubelet.service

# 初始化主节点 另外一种初始化方式参见（https://k8s.easydoc.net/docs/dRiQjyTY/28366845/6GiNOzyZ/nd7yOvdY）
kubeadm config print init-defaults > kubeadm-config.yaml
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
kubeadm init --pod-network-cidr=10.244.0.0/16 --image-repository=registry.aliyuncs.com/google_containers
# 忘记了重新获取：
kubeadm token create --print-join-command
# 加入主节点以及其余工作节点
# 执行安装日志中的加入命令即可
# 部署网络
# kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml（这个文件对于当前集群好像不适用）
# NotReady （https://stackoverflow.com/questions/52675934/network-plugin-is-not-ready-cni-config-uninitialized）
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/62e44c867a2846fefb68bd5f178daf4da3095ccb/Documentation/kube-flannel.yml # NotReady （https://stackoverflow.com/questions/52675934/network-plugin-is-not-ready-cni-config-uninitialized）
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/62e44c867a2846fefb68bd5f178daf4da3095ccb/Documentation/kube-flannel.yml

# 重置k8s集群
sudo kubeadm reset && rm -rf /var/lib/cni/ && sudo rm -rf /var/lib/cni/ && systemctl daemon-reload && systemctl restart kubelet &&
sudo iptables -F && sudo iptables -t nat -F && sudo iptables -t mangle -F && sudo iptables -X

# 主节点继续执行
mkdir -p $HOME/.kube && sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config && sudo chown $(id -u):$(id -g) $HOME/.kube/config
# 子节点也需要重置(方法同上)
# rm -f /etc/kubernetes/kubelet.conf /etc/kubernetes/bootstrap-kubelet.conf /etc/kubernetes/pki/ca.crt && systemctl restart kubelet

# 容器二进制可执行插件
wget https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz # 注意这个必须在子节点也安装，立竿见影。（捣鼓好一会）

# 查看当前集群配置
kubeadm config view

集群面板-dashboard #

# 安装dashboard
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.4.0/aio/deploy/recommended.yaml
# 修改service type: NodePort，不指定端口的随机分配 通过svc 查看
# seccompProfile 规范出错了注释即可
# 通过token进行登录
# 创建账户
kubectl create serviceaccount dashboard-admin -n kube-system
kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
# 通过下面命令查看token
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

# 或者使用如下的yaml文件创建
# kubectl apply -f kube-admin.yaml
# kubectl -n kubernetes-dashboard create token admin-user[对于v1.15不适用]
kubectl -n kubernetes-dashboard get secret
kubectl -n kubernetes-dashboard describe secret admin-user-token-dxj54

apiVersion: v1
kind: ServiceAccount
metadata:
 name: admin-user
 namespace: kubernetes-dashboard
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
 name: admin-user
roleRef:
 apiGroup: rbac.authorization.k8s.io
 kind: ClusterRole
 name: cluster-admin
subjects:
- kind: ServiceAccount
 name: admin-user
 namespace: kubernetes-dashboard

Reference #

Mon, 01 Jan 0001 00:00:00 +0000

minikube #

# 1.Installation
curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64
sudo install minikube-darwin-amd64 /usr/local/bin/minikube

# 2.Start your cluster
minikube start

# 3.Interact with your cluster
kubectl get po -A # or: minikube kubectl -- get po -A

# bring-up dashboard
minikube dashboard

krew #

# 1.Make sure that git is installed.

# 2.Run this command to download and install krew:
(
 set -x; cd "$(mktemp -d)" &&
 OS="$(uname | tr '[:upper:]' '[:lower:]')" &&
 ARCH="$(uname -m | sed -e 's/x86_64/amd64/' -e 's/\(arm\)\(64\)\?.*/\1\2/' -e 's/aarch64$/arm64/')" &&
 KREW="krew-${OS}_${ARCH}" &&
 curl -fsSLO "https://github.com/kubernetes-sigs/krew/releases/latest/download/${KREW}.tar.gz" &&
 tar zxvf "${KREW}.tar.gz" &&
 ./"${KREW}" install krew
)

# 3.Add the $HOME/.krew/bin directory to your PATH environment variable. To do this, update your .bashrc or .zshrc file and append the following line:
# and restart your shell.
export PATH="${KREW_ROOT:-$HOME/.krew}/bin:$PATH" 

# 4.Run kubectl krew to check the installation.

node-shell #

kubectl krew install node-shell

Mon, 01 Jan 0001 00:00:00 +0000

基础概念 #

各个组件 #

name	explain
APISERVER	所有服务访问统一入口
CrontrollerManager	维持副本期望数目
Scheduler	负责介绍任务，选择合适的节点进行分配任务
ETCD	键值对数据库储存K8S集群所有重要信息（持久化）
Kubelet	直接跟容器引擎交互实现容器的生命周期管理
Kube-proxy	负责写入规则至 IPTABLES、IPVS 实现服务映射访问的
COREDNS	可以为集群中的SVC创建一个域名IP的对应关系解析
DASHBOARD	给 K8S 集群提供一个 B/S 结构访问体系
INGRESS CONTROLLER	官方只能实现四层代理，INGRESS 可以实现七层代理
FEDERATION	提供一个可以跨集群中心多K8S统一管理功能
PROMETHEUS	提供K8S集群的监控能力
ELK	提供 K8S 集群日志统一分析介入平台

POD #

K8S 中包装的最小单位，一个POD（容器组）中可以包含多个容器，用来表示可迁移的lamp，类似于Docker的多层镜像。同一个POD中容器可以直接共享pause共享的网络站或者挂载卷。

自主式管理POD #
POD 死亡后没办法继续启动。

控制器管理的POD #

name	explain
ReplicationControlelr(RC)	用来确保容器应用的副本数始终保持在用户定义的副本数，如果容器有异常退出，会自动创建新的POD来代替；而异常多出来的容器也会自动回收，新版本中建议使用ReplicaSet 来替代 ReplicationController
ReplicaSet(RS）	与上一个没有本质区别，但是这个支持集合式的 selector
Deployment	虽然ReplicaSet可以独立使用，但一般还是建议使用Deployment来自动管理ReplicaSet,这样就无需担心跟其他机制的不兼容问题（比如ReplicaSet不支持 rolling-update ，但 Deployment支持）
HorizontalPodAutoScale(HPA)	也是控制RS,根据CPU使用率自动平衡扩展，收缩，可定义最大，最小副本数
StatefulSet(SS)	主要解决有状态服务问题，包括的场景有：稳定的持久化存储，稳定的网络标志，有序部署，有序收缩
DaemonSet()	可以理解为跟node绑定的一些后台运行的POD，跟随节点进行创建和删除。
Job	负责批处理任务，即仅执行一次的任务.相比于script优点有，封装在POD中可判断是否正常退出，可以重新执行。而且可以设定认为成功的次数。
CronJob	带有cron 定时任务的JOB

网络通信方式 #

扁平化的网络空间

archive

multiple containers in single pod #

虚拟机准备 #

系统初始化 #

部署安装-kubeadm #

集群面板-dashboard #

Reference #

common #

dashboard #

coredns #

minikube #

krew #

node-shell #

基础概念 #

各个组件 #

POD #

自主式管理POD #

控制器管理的POD #

网络通信方式 #