Qemu 启动 arm64 虚拟机

安装 qemu

  • 安装依赖

    1
    2
    3
    4
    5
    6
    
    dnf install \
        gcc make cmake ninja-build \
        xz bzip2 \
        python3 perl-interpreter \
        glib2-devel pixman-devel zlib-devel \
        diffutils findutils
    
  • 编译 qemu

    1
    2
    3
    4
    5
    6
    7
    
    curl -LO https://download.qemu.org/qemu-6.2.0.tar.xz
    tar xf qemu-6.2.0.tar.xz
    cd qemu-6.2.0
    mkdir /opt/qemu-aarch64
    ./configure --prefix=/opt/qemu-aarch64/ -target-list=aarch64-softmmu
    make
    make install
    
  • 下载 efi 固件

    1
    
    curl -LO https://releases.linaro.org/components/kernel/uefi-linaro/16.02/release/qemu64/QEMU_EFI.fd
    

创建 arm64 虚拟机

  • 下载 Rocky Linux 8 iso 镜像文件

Incus 安装

单机环境

服务器

处理器 内存 系统盘 数据盘
4核 8GB 30GB 30GB

操作系统配置

  • 在 /etc/security/limits.conf 中追加如下配置

    1
    2
    3
    4
    5
    6
    7
    8
    
    *        soft    nofile    1048576
    *        hard    nofile    1048576
    root     soft    nofile    1048576
    root     hard    nofile    1048576
    *        soft    memlock   unlimited
    *        hard    memlock   unlimited
    root     soft    memlock   unlimited
    root     hard    memlock   unlimited
    
  • 在 /etc/sysctl.conf 中追加如下配置

Windows 多用户远程桌面

Win10

开启远程桌面服务

  • 登录管理员账号

  • 单击“开始”,搜索“远程桌面”,如下图

  • 开启远程桌面服务,如下图

配置多用户登录

  • 登录管理员账号

  • 快捷键 Win + R,运行“gpedit.msc”,如下图

硬盘扩容

裸盘在线扩容

  • 环境:/dev/sdb 直接挂载在 /data/ 下
  • 直接更新文件系统
    1
    2
    
    resize2fs /dev/sdb    # ext4 文件系统,参数是设备
    xfs_growfs /data    # xfs 文件系统,参数是挂载点
    

分区在线扩容

  • 环境:/dev/sdb1 直接挂载在 /data/ 下

OpenSSH 升级

源码包

编译 openssl

  • 下载 openssl 源码包,解压

    1
    2
    3
    
    curl -LO https://github.com/openssl/openssl/releases/download/openssl-3.5.6/openssl-3.5.6.tar.gz
    tar zxf openssl-3.5.6.tar.gz
    cd openssl-3.5.6
    
  • 编译安装 openssl

    1
    2
    3
    
    ./Configure --prefix=/opt/openssl 
    make
    make install
    

编译 openssh

  • 下载 openssh 源码包,解压

    1
    2
    3
    4
    
    curl -LO https://cdn.openbsd.org/pub/OpenBSD/OpenSSH/portable/openssh-10.3p1.tar.gz
    tar zxf openssh-10.3p1.tar.gz
    cd openssh-10.3p1/
    # 版本信息在 version.h
    
  • 编译安装 openssh

Redis 数据迁移

环境

  • Redis: 5.0.14

  • 源集群实例

    1
    2
    3
    
    ... 127.0.0.10:6371@16371 ... connected 0-5460
    ... 127.0.0.10:6372@16372 ... connected 5461-10922
    ... 127.0.0.10:6373@16373 ... connected 10923-16383
    
  • 源集群密码: 123456

  • 目的集群实例

    1
    2
    3
    
    ... 127.0.0.11:6371@16371 ... connected 0-5460
    ... 127.0.0.11:6372@16372 ... connected 5461-10922
    ... 127.0.0.11:6373@16373 ... connected 10923-16383
    
  • 目的集群密码: 123456

  • redis 数据迁移工具: redis-dump-go

hadoop3.3 集群部署

环境

主机名 地址 数据目录 组件
hdp-nn 192.168.8.1/24 /data/hdp-nn Namenode Spark
hdp-snn 192.168.8.2/24 /data/hdp-snn SecondaryNamenode
hdp-rm 192.168.8.3/24 - ResourceManager
hdp-worker0 192.168.8.10/24 /data/hdp-dn Datanode NodeManager Spark
hdp-worker1 192.168.8.11/24 /data/hdp-dn Datanode NodeManager Spark
hive-hs 192.168.8.20/24 - HiveServer2 Tez
hive-ms 192.168.8.21/24 - HiveMetastore Tez

部署 hadoop 集群

服务器初始配置

  • 全部主机上执行如下操作
  • 禁用防火墙
  • 禁用 selinux
  • 配置时间同步
  • 配置主机名解析,修改 /etc/hosts,增加如下内容
    1
    2
    3
    4
    5
    6
    
    # hadoop
    192.168.8.1  hdp-nn
    192.168.8.2  hdp-snn
    192.168.8.3  hdp-dn
    192.168.8.10 hdp-worker0
    192.168.8.11 hdp-worker1
    

ssh 免密登录

  • hdp-nn 配置 ssh 免密登录 hdp-nn、hdp-snn 和 hdp-workerX

hadoop2.10 部署

环境

主机名 地址 数据目录 组件
编译服务器 - - 各种编译工具
hdp-nn 192.168.8.1/24 /data/hdp-nn Namenode Spark
hdp-snn 192.168.8.2/24 /data/hdp-snn SecondaryNamenode
hdp-rm 192.168.8.3/24 - ResourceManager
hdp-slave0 192.168.8.10/24 /data/hdp-dn Datanode NodeManager Spark
hdp-slave1 192.168.8.11/24 /data/hdp-dn Datanode NodeManager Spark
hive-hs 192.168.8.20/24 - HiveServer2 Tez
hive-ms 192.168.8.21/24 - HiveMetastore Tez
hbase-m 192.168.8.30/24 - HbaseMaster
hbase-bm 192.168.8.31/24 - HbaseBackupMaster
hbase-rs0 192.168.8.32/24 - HbaseRigionServer
hbase-rs1 192.168.8.33/24 - HbaseRigionServer

部署 hadoop 集群

服务器初始配置

  • 全部主机上执行如下操作
  • 禁用防火墙
  • 禁用 selinux
  • 配置时间同步
  • 配置主机名解析,修改 /etc/hosts,增加如下内容
    1
    2
    3
    4
    5
    6
    
    # hadoop
    192.168.8.1  hdp-nn
    192.168.8.2  hdp-snn
    192.168.8.3  hdp-dn
    192.168.8.10 hdp-slave0
    192.168.8.11 hdp-slave1
    

ssh 免密登录

  • hdp-nn 配置 ssh 免密登录 hdp-nn、hdp-snn 和 hdp-slaveX

Windows 笔记

激活 windows

  • Windows 10 专业版

    1
    2
    3
    4
    5
    
    slmgr /upk
    slmgr /ipk W269N-WFGWX-YVC9B-4J6C9-T83GX
    slmgr /skms zh.us.to
    # 如果 zh.us.to 不通,可以尝试 kms8.msguides.com
    slmgr /ato
    
  • Windows 11 专业版

    1
    2
    3
    4
    
    slmgr.vbs /upk
    slmgr /ipk W269N-WFGWX-YVC9B-4J6C9-T83GX
    slmgr /skms kms.loli.best
    slmgr /ato
    
  • Windows 7 旗舰版密钥:26VR7-RGFWJ-YFMB2-X3YXM-2KY3R

Nginx 安装

环境

  • 操作系统 CentOS7.9

包管理器直接安装

  • 创建 yum 源文件 /etc/yum.repos.d/nginx-nju.repo,内容如下

    1
    2
    3
    4
    5
    6
    7
    8
    
    echo '[nginx-stable]
    name=nginx stable repo
    #baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
    baseurl=https://mirrors.nju.edu.cn/nginx/rhel/$releasever/$basearch/
    gpgcheck=0
    enabled=1
    gpgkey=https://nginx.org/keys/nginx_signing.key
    module_hotfixes=true
    
  • 安装 nginx