CTF常见杂项集合
...
ssrf漏洞
ssrf漏洞自己总结的绕过方法 进制绕过，127进行16进制编码等 用特殊短地址进行绕过127.1或0.0.0.0或0.0或0可以代替127.0.0.1 正则表达式检验开头结尾的，用@进行分隔username和hostname 302跳转，在自己的服务器上写php Location代码 ssrf漏洞是什么 SSRF漏洞（Server-Side Request Forgery）是一种Web应用程序漏洞，它允许攻击者在受攻击的服务器上执行未经授权的网络请求。具体而言，攻击者可以构造一个特制的请求，在请求中指定一个外部的URL地址，然后将该请求发送给目标服务器。目标服务器接收到请求后，会认为这个请求来自于内部网络的可信源，并向指定的URL地址发起请求。由于攻击者可以任意指定这个URL地址，因此可以利用该漏洞实现多种攻击，如获取敏感信息、执行任意命令等。 ...
机器学习
机器学习机器学习就是自动找函数式 要问自己想要找什么样的函数，先去创建一个任务，regression和classification 不能只会做判断输出1、2，后面发展到需要generate生成有结构的东西 怎么告诉机器想要找什么样子的函数：supervised learning,而这需要labeled data，即标注数据集，即告诉机器想要得到的结果是什么样子 评估一个函数的好坏：函数的LOSS 下一步，期待机器会自动找出LOSS最低的函数 机器如何找到你想要的函数：Linear->Network Architecture：给机器一个函数寻找的范围 Supervised learning vs Reinforcement learning Supervised learning:监督学习，给数据需要标注 Reinforcement learning:强化学习，给的数据不需要标注 Meta Learning = learn to learn 让机器学会学习 ...
hive数据定义语言DDL
hive数 据定义语言DDL数据定义语言概述 数据定义语言 (Data Definition Language, DDL)，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括database（schema）、table、view、index等。 DDL核心语法由CREATE、ALTER与DROP三个所组成。DDL是对表结构进行的操作。 在某些上下文中，该术语也称为数据描述语言，因为它描述了数据库表中的字段和记录。 Hive DDL操作DDL基本概念 在Hive中，DATABASE的概念和RDBMS中类似，我们称之为数据库，DATABASE和SCHEMA是可互换的，都可以使用。 hive的数据库本质上就是一个目录 默认的数据库叫做default,存储于/user/hive/warehouse下 用户自己创建的数据库存储位置是/user/hive/warehouse/数据库名.db下 数据库的基本命令 show databases 查看系统中所有的数据库 show databases; create...
virtual导入hadoop集群
virtualbox导入Hadoop集群 导出虚拟电脑，导出默认为.ova格式 选择要导出的虚拟机 导入虚拟电脑，选择路径，直接指向第一步导出的.ova格式文件 启动hadoop集群和启动hive都没有问题
go爬虫项目
go爬虫项目爬虫步骤 明确目标(确定在哪个网站搜索) 爬（爬下内容） 取（筛选想要的内容） 处理数据（按照你的想法进行处理） 发送请求 构造客户端 var client http.Client //Client类型代表HTTP客户端。它的零值（DefaultClient）是一个可用的使用DefaultTransport的客户端。 构造get请求 reqList, err := http.NewRequest("GET", URL, nil) //返回值是Request包和一个错误类型的值，Request中包含了请求头，请求体（get请求没有请求体），host值等信息 添加请求头,为了防止浏览器检测到爬虫访问，添加一些请求头来伪造成浏览器访问 req.Header.Set("Connection", "keep-alive") req.Header.Set("Pragma", "no-cache") req.Header.Set("Cache-Control",...
linux环境下元数据库(mysql)的安装
linux环境下元数据库(mysql)的安装解压mysql安装包 将mysql的安装文件移至/root/downloads下 创建文件夹/root/bigdata/mysql 将安装文件解压至/root/bigdata/mysql 升级并安装依赖包root@master:~/bigdata/mysql# sudo apt-get upgrade 如果报错E: 无法获得锁 /var/lib/dpkg/lock-frontend - open (11: 资源暂时不可用) E: 无法获取 dpkg 前端锁 (/var/lib/dpkg/lock-frontend)，是否有其他进程正占用它？ root@master:~/bigdata/mysql# rm...
go_downloader
go_downloader原理分析 传统的中心模式，user的速度会收到server总带宽的限制，如果下载的client越多，速度会越慢 P2P传输模式，每个参与下载的都是一个peer，可以理解为节点，当有一个peer节点从server下载后，后面下载的client可以从这个已经下载好的peer节点来下载，而不是再次从server中下载，从而减轻了server的压力 面临问题 如何找到有资源的peer，可以通过tracker,类似于pt站 如何让peers协作完成下载，将一个文件分割为很多的pieces,从不同的peers中下载不同的pieces,然后进行一次校验，看和种子文件中的信息是否匹配（是否完整） Torrent File格式 第一个和track相关的是announce,第二个和文件相关的是info announce和url相关 info和文件相关 Bencode协议 plan 创建bencode库用于编解码 基本数据类型 type BType uint8...
Hive的安装和配置
Hive的安装和配置安装Hive 开启hadoop集群 将Hive压缩包解压到/root/bigdata目录下 tar -zxvf apache-hive-3.1.1-bin.tar.gz -C /root/bigdata/ 配置Hive 进入到hive安装目录下的conf目录 root@master:~/bigdata/apache-hive-3.1.1-bin# cd /root/bigdata/apache-hive-3.1.1-bin/conf 新建hite-site.xml文件 root@master:~/bigdata/apache-hive-3.1.1-bin/conf# vim hive-site.xml 添加以下内容 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> ...