异常检测怎么做，试试孤立随机森林算法（附代码）

异常检测看似是机器学习中一个有些难度的问题，但采用合适的算法也可以很好解决。本文介绍了孤立森林（isolation forest）算法，通过介绍原理和代码教你揪出数据集中的那些异常值。

• 介绍异常检测；

• 异常检测的用例；

• 孤立森林是什么；

• 用孤立森林进行异常检测；

• 用 Python 实现。

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.ensemble import IsolationForest

df = pd.read_csv('salary.csv')
df.head(10)

• 评估器数量：n_estimators 表示集成的基评估器或树的数量，即孤立森林中树的数量。这是一个可调的整数参数，默认值是 100；

• 最大样本：max_samples 是训练每个基评估器的样本的数量。如果 max_samples 比样本量更大，那么会用所用样本训练所有树。max_samples 的默认值是『auto』。如果值为『auto』的话，那么 max_samples=min(256, n_samples)；

• 数据污染问题：算法对这个参数非常敏感，它指的是数据集中离群值的期望比例，根据样本得分拟合定义阈值时使用。默认值是『auto』。如果取『auto』值，则根据孤立森林的原始论文定义阈值；

• 最大特征：所有基评估器都不是用数据集中所有特征训练的。这是从所有特征中提出的、用于训练每个基评估器或树的特征数量。该参数的默认值是 1。

model=IsolationForest(n_estimators=50, max_samples='auto', contamination=float(0.1),max_features=1.0)
model.fit(df[['salary']])

df['scores']=model.decision_function(df[['salary']])
df['anomaly']=model.predict(df[['salary']])
df.head(20)

anomaly=df.loc[df['anomaly']==-1]
anomaly_index=list(anomaly.index)
print(anomaly)

outliers_counter = len(df[df['salary'] > 99999])
outliers_counter

print("Accuracy percentage:", 100*list(df['anomaly']).count(-1)/(outliers_counter))